赤嵌樓基址原為荷蘭人所建的普羅民遮城。係因一鯤身的熱蘭遮城不敷使用且缺乏水源，於西元1653年遷往赤嵌一帶，重建的城樓，西元1655年竣工。當時的城樓，背山面海，與熱蘭遮城互為犄角。由於赤嵌市街日漸繁盛，荷人便以它為商業及政務的中心。
延平郡王鄭成功自鹿耳門登陸占領普羅民遮城後，改為承天府，並暫駐城樓內。鄭成功去世後，城樓做為火藥、軍械的貯存所。清乾隆15年（西元1750年）重修並將臺灣縣署移建於城樓右側，而有「赤嵌夕照」的美名。同治初年，在城樓上加建大士殿、蓬壺書院、文昌閣、五子祠、海神廟、大士殿等建築。 日治時期整修赤嵌樓，大士殿、五子祠及大部分的蓬壺書院拆除，僅存海神廟和文昌閣。現今赤嵌樓外觀特徵為現今尚存海神廟、文昌閣兩建築及荷式之遺跡，外圍的一組三開間格局乃由正背之四支檐柱連線通過中央四支金柱構成，此一組面寬三開間之格局；金柱與檐柱間尚有一磚牆及附璧柱。
赤崁樓石馬，是台南市赤崁樓文昌閣下的石馬，傳說在入夜後會化作妖怪騷擾百姓。石馬原本位在永康洲仔尾一帶，日治時代移到赤崁樓。過去傳說當地曾有白馬精出沒，會在晚上出現破壞田裡莊稼或器物。當地居民暗中跟蹤，發現白馬精消失在一座大墓附近，墓前有一對石馬。當地居民認為白馬精就是石馬所化，因此打斷石馬的腳，據說後來白馬精果然不再出現。
普羅民遮城（赤崁樓）沿革：
- 1625 荷蘭人以布十五匹，向原住民購換赤崁一帶土地，在此設商館、市街、倉庫、醫院，並命名「普羅民遮」為街名。
- 1653 因郭懷一抗荷事件，荷蘭人在赤崁修築城堡以供防禦，也做商業行政中心，荷蘭稱之「普羅民遮城」，俗稱「紅毛城」或「番仔樓」，後稱「赤崁樓」。
- 1862 臺灣中南部大地震，赤崁樓上原已損壞的荷蘭建築全部倒塌。
- 1875 沈葆楨為牡丹社事件領軍來臺，因行船安全，乃上奏請准建海神廟於赤崁樓遺址上。但因故延緩未建完成。
- 1886 臺灣知縣沈受謙為振興文教，在赤崁樓西側建「蓬壺書院」，並在城堡殘基上蓋五子祠﹝供奉宋儒朱熹、程灝、程頤、張載和周敦頤﹞、「文昌閣」並復建海神廟。
*1895 日本時代始。日人把赤崁樓改為「陸軍衛戍醫院」。
- 1944 日人開始整修荷蘭城堡遺跡，拆毀大士殿，修建海神廟、文昌閣與蓬壺書院門廳。
- 1960 原大南門城內之御贔屭碑座遷移至赤崁樓台基南側。
- 1965 修建赤崁樓，將海神廟及文昌閣的主要木架構改以鋼筋混凝土，但仍仿製木柱、木樑式樣。並將文昌閣前臨赤崁街之出入口轉移至民族路。
