寺伝によれば、行基が養老6年（722年）に訪れた後、大同2年 (807)空海（弘法大師）が第7世住職として入山し、奈良の興福寺を模して、中金堂（ちゅうこんどう）に聖観世音菩薩像を刻み本尊とし、丈六の薬師如来を納めた西金堂（さいこんどう）や弥勒菩薩を納めた東金堂（とうこんどう）など七堂伽藍を整備し、さらに、この地に仏塔を建てて瑠璃・珊瑚・瑪瑙などの七宝を埋め地鎮したことから、名称も七宝山観音寺と改めたという。その後、院号は神恵院に改められている。 そして、桓武天皇はじめ三代の天皇の勅願所となり、室町時代には足利尊氏の子・道尊大政大僧正が45年間住職を務めるなど隆盛を誇った。