早在20世纪30年代中期，《禹贡》创刊词中就慨叹没有一种可用的地理沿革图，没有一部够用的历史地名大辞典。因此，当时提出的工作计划中，一件工作是要把研究的结果，“用最新式的绘制法，绘成详备精确而又合用的地理沿革图”；另一件工作就是要“广事搜罗所有中国历史上的地名，一一加以考证，用以编成一部可用，够用，又精确而又详备的中国历史地名辞典”。到70年代中期，由谭其骧先生主编的《中国历史地图集》陆续分册出版，而一部“可用，够用，又精确而又详备的”中国历史地名辞典仍在空缺。当时已是“文化大革命”的后期，各单位陆续恢复工作，我们历史研究所历史地理研究室办公桌上摆着的还是那本又旧又破的《中国古今地名大辞典》（以下简称《古今地名大辞典》。这是一部20世纪20年代末编纂出版的工具书，书的质量本来就不高，再加上出版已历半个多世纪，有些地名早已改变，有的甚至变过不止一次。书中解释历史地名时所说的今地，对照今日的地图已面目全非，对于那些遇到问题想通过翻检辞典求得解答的读者，有时真是如堕五里雾中。就当时讲，有些海外华侨、港澳台同胞已陆续回大陆探亲，有的前来寻根，但有些地名改变了，他们要查问自己的祖籍在今何地，就颇费周折；当时旅游热也悄然兴起，有的游客要查考某些文物古迹的历史和它们的确切地址也是一件很不容易的事；再说，当时有的人想对照今天的地图，看看我国历史上的边界变迁，了解一下帝国主义列强当年是怎样一步一步侵占我国领土的。但不少地名已非旧称，要想追根问底也很难。更不用说大、中学校的教师、学生，他们都在为没有一部合用的历史地名辞典而苦恼。因此，不断有人发出呼吁，希望新编一部古今地名大辞典或历史地名辞典，来取代这部内容陈旧的《古今地名大辞典》，以适应时代的需要，方便广大读者。正是在这样的形势下，我们提出了新编《中国古今地名大辞典》的动议，1975年10月和1978年1月，我们曾两次写报告给当时中国科学院哲学社会科学部（今中国社会科学院）和历史研究所的领导。领导同志看了我们的报告非常重视，当时在国务院主持政治研究室工作、主管哲学社会科学部的胡绳同志和后来主持中国社会科学院工作的胡乔木同志都先后批示同意。但由于种种原因，我们没有能够立即着手这项工作，直到1982年下半年，才开始动手编撰此书。谭其骧先生答应做我们的顾问。

编这部书开始时只想在《古今地名大辞典》的基础上作一些修改补充，尽快拿出来以应社会的急需，但动起手来又觉得旧的《古今地名大辞典》问题太多，实在没有修订的必要。一则释文中需要修改的并不仅仅是一个“今地”，有的定位本来就不准确；而且所引资料也欠确切，有些该引的资料又没有引，补的多了自然会面目全非；再者，收词本身问题也很多，大量该收的词没有收，有些从不见经传、又无多少实际意义的小地名倒是收了不少。我们考虑再三，干脆另起炉灶，新编一部《中国历史地名大辞典》，以取代旧的《古今地名大辞典》。后来，作为顾问的谭其骧先生向我们提出了两点建议：（1）《读史方舆纪要》中的地名可以全收；（2）一定要查对第一手资料，要尽量找出地名的最早出处。这是希望我们进一步提高对质量的要求。到1990年下半年，本辞典被确定为历史研究所“八五”重点项目。为此，我们决心狠抓书稿的质量，凡是质量不合要求的，宁可废去重写，绝不迁就。书中虽然保留了《古今地名大辞典》的大部分词目，但释文全部重写，对所引资料一律认真核实；遵照谭其骧先生的意见，对《读史方舆纪要》中的地名，凡有历史事实者，尽量收录，并力求查对第一手资料，尽量找出地名的最早出处，努力做到准确无误。经过20年的艰苦工作，特别是自1990年以来的十余年时间，锲而不舍，顽强奋战，终于完成了全书的撰写和审定工作。

在编纂过程中，为了保证辞典的质量，也为了给读者提供最大的方便，在以下几个方面我们特别注意。