南京總統府最早追朔到明朝初，那時明太祖為了進一步穩定自己的政權，於是建立了一座府邸。並分封當時大臣命名為漢王府。其後，在1404年，明成祖朱棣將其分封給他的二兒子並改為歸德候府。
清朝入關以後，將這裡改為兩江總督署、江南總督府，而且規模一直在不斷擴大。到了康熙、乾隆年間，原來的漢王府東側區域被改造成了江寧織造署。由於康熙微服私訪期間多次居住在江寧織造署，因此又將這裡稱作為“大行宮”，且一直沿用至今。
1853年，隨著太平天國運動的興起，他們開始攻佔大清王朝的國土。由南到北的侵蝕大清國土，並在長江中下游南京定都，在此處大興土木，把這裡改建成了非常巨集偉的宮殿。1870年，隨著太平天國的滅亡，這裡又恢復了往常的兩江總督署。且林則徐、曾國藩、李鴻章、劉坤一、沈葆楨、左宗棠等均在這任過兩江總督。
1912年，推翻清王朝後，孫中山在此處宣佈就職為臨時大總統。此時，這裡被稱為大總統府。1927年，南京國民政府在這裡正式成立。九月蔣介石入住並在這裡開始工作。1937年12月南京淪陷，這裡先後日軍第16師團部和偽維新政府行政院。
1946年，抗日戰爭消停後國民政府又遷都南京，設立了當時的國民政府的軍隊指揮中心，總統住宅和總司令部。而且在此處進行了三年的解放戰爭。1948年，蔣介石、李宗仁在“行憲國大”分別當選總統和副總統後，國民政府改稱總統府。第二年，南京被中國解放軍解放，其後一直作為政府機關辦公場所。
