行政公署一词肇始于民国时期，是中华民国时期的行政督察区的“行政督察专员公署”的简称。我们在反映民国时期党政内容的电视剧里经常会听到某某专员，某某公署之类。1949年10月1日中华人民共和国建立后将原“行政督察区”改为专区，成为“行政专员公署”的简称。1967年-1971年，专区逐渐改为地区，作为“地区行政专员公署”的简称，成为正式的机构名称。
在中华民国时期实行的是省管县的行政体制，因各省所辖县级单位庞大，单纯依靠省级政府管理难以发挥有效管控，因此，行署这一机制便应运而生。行署是省级政府的督察性派出机关，专员是派出员而且是督察职能，行署只是一种片区性质的督察类协管，不属于一级政府，没有政府体系即政府的一般职能部门；
那么为何我们 国家要在上世纪七八十年代先后撤销地区行署，单独设置地级市这一行政级别，主要是从完善行政层级设置，加强社会治理的需要考虑的。过去地区行署是属于省政府派出机构，在国家行政管理中没有法定权限，没有权利机构及政治协商机构，不能有效的对所属县市进行行政管理，仅能进行工作指导。撤消地区设立地级市后，市级建立了党委政府人大政协及公检法司法机构，由虚变实，完善了行政管理职能，成为了一级完整的管控单位。
另外一方面则是适应生产关系调整，促进社会经济发展的需要。通过建立地级市行政单元，可以在一定区域内形成经济政治中心，促进城市化发展，加快区域中心城市建设。
经过四十年的磨合发展，撤地设市被证明是符合中国实际的政策调整。地级市在资源统筹协调、县级单元管理、城乡协调发展、城市能级提升等方面发挥了不可替代的作用。不过目前我们国家还有包括新疆、西藏、内蒙古、黑龙江在内的7处地区行政公署没有被撤销，这些地区的共同点是地域偏远、地盘大，经济发展滞后，而地区行政公署也已经实际转换为了地级市的作用。
