从秦朝到民国，南海的行政中心一直都在广州，南海县县府从广州分出去还不到一百年的历史。
清朝时期，广州城分属两县，西属南海县，东属番禺县，南海县县府在广州越秀区的六榕街道一带。
1912年1月1日，中华民国成立，广州为广东省省会。1911年11月，广州府取消，保留南海县，县政府继续延续以前的旧制度，驻广州城。1918年10月，广州成立市政公所，筹备建市。但是南海县县府仍在广州。1912年2月，新上任的南海县县长卢谔生将南海县政府从广州迁至佛山大湾（今江路街）旧都司衙门办公，但是到了1914年9月，新南海县长陈崇沣又把县府迁往广州，直至民国26年（1937年）8月，南海县政府才迁至南海县佛山镇。
正因为广州是南海的行政中心有两千年，所以广州保留了很多老南海县的遗迹，在广州越秀区的六榕街道一带被称为“旧南海县社区”，这里曾是明清时期南海县衙所在地，“旧南海县社区”有广州市内面积最大、保存时间最长的岭南建筑群，集岭南民居特色和西洋建筑风格于一体。
到了近代，外地的广东人甚至干脆称自己为南海人，南海几乎成为广东的另外一个名字。北京宣武门的南海会馆在中国近代史上具有重要地位，清朝，广东的举人进京赶考一般都住南海会馆，康有为是南海人，他是广东伟大人物的代表，他在南海会馆领导了变法运动。康有为出名后，人们称他为“康南海”和“南海先生”。
