清涼寺の歴史は嵯峨天皇の皇子、左大臣をつとめた源融(みなもととおる)が嵯峨に造営した山荘、棲霞観(せいかかん)にはじまる。紫式部が書いた源氏物語に登場する光源氏は、源融がモデルになったといわれる。源融の死後、融の遺子である湛と昇が棲霞観に仏堂をたて、阿弥陀三尊像を安置、棲霞寺とした。
棲霞寺が建立され約70年後の972(天録3)年には、東大寺で学んだ奝然(ちょうねん)と義蔵は、比叡山に対抗し京都の愛宕山に大寺を建立して仏教を興隆しようと誓いをたて、宋にわたることを決意する。その10年後の982(天元5)年にようやく朝廷の許可がおり、奝然と義蔵は弟子とともに宋に渡る。宋では五台山巡拝をはたし、釈迦が在世のころに造られたといわれる、インド伝来の釈迦像を模造し、博多に帰着した。
986(寛和2)年に釈迦像と共に帰着した奝然はとりあえず船岡山の西にある蓮台寺に釈迦像を運んだが、清涼寺創建の夢を果せないまま1016(長和5)年に死去した。高弟の盛算が遺志がひきついだが新寺創建はあきらめ、釈迦像を棲霞寺に安置し、勅許を得て華厳宗の五台山清涼寺とした。棲霞寺の一郭でささやかにはじまった清涼寺ではあるが、本尊の釈迦如来像が釈迦の「生き身」であると次第に評判になっていく。
1156(保元元)年には後の浄土宗開祖、法然が清涼寺の釈迦如来像のまえで7日間の参籠をしたといわれる。釈迦像に前に額ずき、ひたすらに祈るおびただしい庶民の姿を見て、法然は回心のきっかけをつかんだともいわれる。その後、清涼寺は天台、真言宗を兼ねたあとで浄土宗の大寺院になり、棲霞寺は清涼寺のなかの阿弥陀堂に名を残すだけとなり、現在に至っている。