一七一〇年（宝永七年）の「影向寺縁起」には聖武天皇が光明皇后の病気平癒を願い西暦七四〇年（天平十二年）創建とある。しかし、発掘により、実際には七世紀後半（白鳳時代末期）に建てられたことが明らかになった。地方寺院だが、国分寺より早く法隆寺と同じ頃建てられ、それが今日まで続いている。
現薬師堂は一六九四年に再興され、一九七七年に県の重要文化財に指定された。
絵の左側の鐘楼には一六六〇年に作られた鐘があったが、第二次大戦で供出。今の鐘は一九七三年に作られた。
右側の建物は法隆寺の夢殿と同じ八角形の太子堂。一九八五年に創られ、移築作業中だった。鎌倉時代後期に作られた聖徳太子孝養像が安置されている。