鎮海樓舊名朝天門，吳越王錢氏建。規石為門，上架危樓。樓基壘石高四丈四尺，東西五十六步，南北半之。左右石級登樓，樓連基高十有一丈。元至正中，改拱北樓。明洪武八年，更名來遠樓，後以字畫不祥，乃更名鎮海。火于成化十年，再造于嘉靖三十五年，是年九月又火，總制胡宗憲重建。樓成，進幕士徐渭曰︰“是當記，子為我草。”草就以進，公賞之，曰︰“聞子久僑矣。”趨召掌計，廩銀之兩百二十為秀才廬。渭謝侈不敢。公曰︰“我愧晉公，子于是文，乃遂能愧�椘A倘用福先寺事數字以責我酬，我其薄矣，何侈為！”
渭感公語，乃拜賜持歸。盡橐中賣文物如公數，買城東南地十畝，有屋二十有二間，小池二，以魚以荷；木之類，果木材三種，凡數十株；長籬亙畝，護以枸杞，外有竹數十個，筍迸雲。客至，網魚燒筍，佐以落果，醉而詠歌。始屋陳而無次，稍序新之，遂領其堂曰“酬字”。
徐渭《鎮海樓記》︰
鎮海樓相傳為吳越錢氏所建，用以朝望汴京，表臣服之意。其基址、樓台、門戶、欄𧁓，極高廣壯麗，具載別志中。
樓在錢氏時，名朝天門。元至正中，更名拱北樓。皇明洪武八年，更名來遠。時有術者病其名之書畫不祥，後果驗，乃更今名。火于成化十年，再建于嘉靖三十五年，九月又火。予奉命總督直浙閩軍務，開府于杭，而方移師治寇，駐嘉興，比歸，始與某官某等謀復之。人有以不急病者。予曰︰“鎮海樓建當府城之中，跨通衢，截吳山麓，其四面有名山大海、江湖潮汐之勝，一望蒼茫，可數百里。民廬舍百萬戶，其間村市官私之景，不可億計，而可以指顧得者，惟此樓為杰特之觀。至于島嶼浩渺，亦宛在吾掌股間。高翥長騫，有俯壓百蠻氣。而東夷之以貢獻過此者，亦往往瞻拜低回而始去。故四方來者，無不趨仰以為觀游的。如此者累數百年，而一旦廢之，使民若失所歸，非所以昭太平、悅遠邇。非特如此已也，其所貯鐘鼓刻漏之具，四時氣候之榜，令民知昏曉，時作息，寒暑啟閉，桑麻種植漁佃，諸如此類，是居者之指南也。而一旦廢之，使民懵然迷所往，非所以示節序，全利用。
且人傳錢氏以臣服宋而建，此事昭著已久。至方國珍時，求緩死于我高皇，猶知借 事以請。誠使今海上群丑而亦得知錢氏事，其祈款如珍之初詞，則有補于臣道不細，顧可使其跡湮沒而不章耶？予職清海徼，視今日務，莫有急于此者。公等第營之，毋浚征于民，而務先以己。”于是予與某官某等，捐于公者計銀凡若干，募于民者若干。遂集工材，始事于某年月日。計所構， 石為門，上架樓，樓基壘石，高若干丈尺。東西若干步，南北半之。左右級曲而達于樓，樓之高又若干丈。凡七楹，礎百。巨鐘一，鼓大小九，時序榜各有差，貯其中，悉如成化時制。蓋歷幾年月而成。始樓未成時，劇寇滿海上，予移師往討，日不暇至。于今五年，寇劇者禽，來者遁，居者懾不敢來，海始晏然，而樓適成，故從其舊名“鎮海”。
張岱《鎮海樓》詩︰
錢氏稱臣歷數傳，危樓突兀署朝天。
越山吳地方隅盡，大海長江指顧連。
使到百蠻皆禮拜，潮來九折自盤旋。
成嘉到此經三火，皆值王師靖海年。
都護當年築廢樓，文長作記此中游。
適逢困鱷來投轄，正值饑鷹自下韝。
嚴武題詩屬杜甫，曹瞞拆字忌楊修。
而今縱有青藤筆，更討何人數字酬！
