創建当時には西金堂と向かい合う形で東金堂が建っていたが、明治時代の廃仏毀釈の影響を受け、現在は基壇の跡を残すのみとなっている。（創建当時には東金堂にも五重小塔が納められており、東西の両小塔が伽藍を形成していた。）