清領時代,因台江陸浮失卻其重要性,加上清兵破壞熱蘭遮城建億載金城,故日漸荒廢。到了日治時期,內城荷式建築全毀,四周以紅磚砌成方形階臺,臺上建造西式平房作為海關宿舍。而成為今日的紀念館風貌,二戰後改名為安平古堡。
1975年配合觀光年計畫,台南市政府整修安平古堡範圍環境,在瞭望台上加一尖型屋頂,牆面漆成白色,就是現在我們看見的安平古堡的模樣。
目前紀念館邊殘存七十多公尺長的外城南牆殘壁依然屹立,老榕攀爬,紅磚班駁,是300餘年來僅存的歷史遺跡,訴說著曾經過往的滄桑。目前真正的荷蘭時期遺跡僅存古堡前方外城南城垣的磚牆。老榕盤根,無限滄桑,見證著近400年來的台江的歷史。