西元1792年，一名叫李應祥的文士自中國來台，起初在阿公店(現岡山鎮)居住，3個月後登上火山大仙岩，於西元1796年為尋晚年隱修之所，而攀山涉水，由於李應祥善於勘輿，發現在枕頭山南腰「半壁吊燈火」傳為麒麟穴，於是披荊斬棘，自大仙寺內迎回觀音聖像坐鎮於此，隱遁修行，即為今天碧雲寺的開山起源。


碧雲寺真正興建廟宇，是當時附近的8位儒生，因仰慕李應祥學養品德，與一書僮前往拜師苦讀，西元1806年前往福州趕考，連書僮9人皆應試登科，9人感佩觀音靈佑，於是合資大銀千兩，購買當時他們師徒所開墾的田地，捐作寺產，並興建寺廟，稱為碧雲寺，這座寺又稱為「新岩」，大仙寺則為「舊岩」。

西元1844年，因為兵燹肆虐而焚毀，東山鄉民於是迎請「觀音聖像」至東山，建簡單寺堂安奉，信徒於是發起募捐創建「東山碧軒寺」，因此碧雲寺與東山軒寺其實同源，百餘年來維持良好關係。

碧雲寺在同治8年至西元1903年，曾陸續修建數次，1904年又因大地震毀損一次，但寺方因故無人管理沒有修建，經過信徒爭取，於1949年重建，蔣介石先生曾親臨獻香，並賜匾額「凌宵寶殿」。