四国八十八ヶ所霊場の第六十三番札所。本尊が毘沙門天であるのは八十八箇所ではこの寺のみ。弘法大師がこの付近を通りかかった際、光を放っているひのきを見つけた。大師はこの霊木で本尊の毘沙門天と脇仏の吉祥天、善尼師童子を刻み、寺を創建したとされる。1585年の豊臣秀吉による四国攻めの兵火により焼失。1659年、檜木寺と合併して現在の場所に移され再興した。寺にはマリア観音という珍しい観音像（秘仏）が所蔵されており、これは長宗我部元親がイスパニア船サン・クェリッペ号の船長バードレから託されたもの。その後家臣の秦備前守が秘蔵したが、不幸が続いたため吉祥寺へ預けたとされる。