赤嵌樓位置所在，最初即荷蘭人建造的「普羅民遮城」舊址。西元1652年，早期移民台灣的漢人，因不滿荷人剝削式的統治，在郭懷一的率領下起義叛變。隔年荷軍平定民變後，為免再度發生暴動，遂在台江內海東岸興建「普羅民遮城」做為防禦，和位於西岸的「熱蘭遮城」遙遙相對，形成犄角之勢。鄭成功征台之初，首先即攻下「普羅民遮城」，改置「承天府」。後來鄭經即位，廢承天府，城樓改充火藥、軍械庫之用，直到清咸豐年間，赤嵌樓都做為軍火庫用途。

清初台江尚未淤塞前，浪濤可直達城樓下，登高遠眺夕陽，別有一番風味，故「赤嵌夕照」曾為當時台灣八景之一。而今赤嵌樓周邊盡是熱鬧的街坊，距海岸線更有一段距離，滄海變遷，真令人不得不驚嘆大自然的力量！

清同治初年，赤嵌樓首次出現中式建築。民眾建大士殿於城基中央，據說用以鎮壓紅毛番（荷蘭人）留下的邪氣。中法戰爭期間，巡撫劉銘傳恐旁生事端，下令拆除荷式城堡，大士殿受到波及亦被拆毀。光緒12年，知縣沈受謙為提倡文教，陸續在當地建造「蓬壺書院」、「五子祠」（祀朱熹、程頤、程顥、張載、周敦頤五位宋儒）、「文昌閣」，此外，沈葆楨於光緒元年奏准興建的海神廟，亦於此時此地完成。隔年，順應百姓要求，又於文昌閣西側重建大士殿。至此，赤嵌樓集廟、殿、祠、閣、院五種中國傳統建築於一地，可謂盛況空前。