平安時代、智証大師が開く
天台宗の寺「克軍寺」は、天長9年（832）、智証（ちしょう）大師・円珍により開基されたと伝わり、当時は医王山延寿院金剛寺（いおうざんえんじゅいんこんごうじ）と号していました。
円珍は、弘法大師・空海の甥（一説には姪の子）といわれ、3歳の円珍を一目見た空海は「智慧童子」と感嘆するほど聡明であったと伝わります。円珍は、最澄や空海と同じく唐に渡り密教を日本にもたらした「入唐八家」の一人。第五代天台座主であり、天台寺門宗の宗祖です。
戦国時代、藤堂高虎をまつる
天正年間（1573～92）には、長宗我部軍の戦火で全焼してしまいましたが、寛永8年（1631）、讃岐高松藩4代藩主である生駒高俊（たかとし）が藤堂高虎の菩提を弔うために再興したと伝わります。高俊は幼くして家督を相続したため、外祖父の高虎が後見役となりました。
高俊は、客殿に高虎の束帯姿の影像を安置し、医王山閑松院克軍寺（いおうざんかんしょういんこくぐんじ）と改称し、寺領四十石を寄進しました。閑松院とは、高虎の諡（いみな）であり、かつて高虎が高俊の父である生駒正俊のために援軍の兵を出して勝利を得たことがあり、それに由来して克軍寺と名付けたということです。
江戸時代、徳川家康をまつる
慶安四年（1651）、高松松平家の初代藩主である松平賴重（よりしげ）が本堂などを再建し、寺領百石を寄進しました。また、将軍家歴代の尊牌を納めて、山号を巌松山と改め、蓮門院（れんもんいん）とも呼ばれるようになったということです。
元禄12年（1699）には下野国輪王寺の末寺として、本門寿院の院室を賜ります。寛永21年（1644）には境内の山手に山王社を建立し、徳川家康をまつりますが、文化12年（1815）に八代藩主松平頼儀が屋島神社にこれを移しました。
今に残る小堀遠州の庭、霊木の仏
明治時代には、境内裏山に新四国庵が創設され、大正時代に掛けてミニ四国八十八箇所を開創しました。
しかし、昭和20年（1945）7月4日、高松空襲によって焼かれてしまいます。そこで、失われた本堂は昭和31年（1956）に再建されました。
境内には、小堀遠州（こぼりえんしゅう）の作庭といわれる「亀鶴（きかく）の庭」があり、松平家の女人たちが茶会の名目でひそかに信仰していたという「切支丹灯籠（きりしたんどうろう）」がたたずんでいます。
「克軍寺」のご本尊は薬師如来。また、行基の作と伝わる十一面観音菩薩像がまつられています。この菩薩像は、神が宿る神木の中から仏が姿を現したとされる「霊木化現仏」ではないかといわれています。