金台寺原名金台精舍,黃楊八景之一。南宋未年,諸忠臣護衞着祥興帝趙丙是廣東新會崖門海面擺開千艘戰船抗擊元兵失敗,丞相陸秀夫揹負年幼的祥興帝投海殉國。大將張世傑率領餘部突圍,卻在南海遇上狂風舟覆而亡,其屍漂流至黃楊山下的大赤坎,被村民安葬於黃楊山麓。遺臣承節郎趙時從、大理寺丞龔行卿、翰林學士鄧光薦等人則隱入黃楊山卡築舍而居,取名“金台精舍”。史載春秋時燕昭王於易水築”黃金台”以召天下仕。趙時從等人於黃楊山築舍也自比賢士聚會,讀書吟句為名,密謀抗元為實。金台精舍乃金台寺之前身。
90年代初,修復金台寺工程啟動。因舊址已被水淹且交通不便,遂選新址於黃楊山南麓“將軍卸甲”處,此地風景秀美,前眺崖門海口,後枕黃楊主峯。