Die ältesten Teile des Gebäudes stammen aus dem Jahr 1094. Um 1270 wurde eine größere Synagoge gebaut, die Teile des älteren Gebäudes umfasste. Die Westwand des Gebäudes stammt aus dieser Zeit. Sie hat ihre sechs ursprünglichen Fenster. Ein weiteres Stockwerk wurde in den frühen 1300er Jahren hinzugefügt.
Im Jahr 1349 starben viele Menschen an der Krankheit des Schwarzen Todes. Die Leute sagten, es sei die Schuld der Juden. Die Juden wurden ermordet und gezwungen, die Stadt zu verlassen. Dieses Pogrom ist als das Massaker von Erfurt bekannt. Die Synagoge wurde beschädigt, und die Erfurter Stadtverwaltung übernahm die Kontrolle über das Gebäude. Später verkauften sie es an einen örtlichen Geschäftsmann. Dieser nutzte es als Lagerhaus und nahm Änderungen an der Inneneinrichtung vor, darunter den Bau eines Kellers. In den nächsten 500 Jahren diente sie als Warenlager.
Ab dem 19. Jahrhundert wurde das Gebäude als Ballsaal, Restaurant und sogar als Kegelbahn genutzt. Diese Veränderungen führten dazu, dass die Alte Synagoge weitgehend in Vergessenheit geriet. Ihre Geschichte wurde nicht anerkannt, was dazu beitrug, sie während der Nazizeit zu schützen.
Ende der 1980er Jahre erwachte das Interesse an dem alten Gebäude wieder. Der Architekturhistoriker Elmar Altwasser begann 1992 mit der Erforschung des Gebäudes. Die Stadt Erfurt kaufte das Objekt 1998 und erforschte und konservierte es. Erhalten wurden alle Phasen der Baugeschichte, nicht nur die Nutzung als Synagoge.
Im Jahr 2007 wurde unweit der Alten Synagoge von Archäologen ein seltenes und gut erhaltenes jüdisches Ritualbad, eine Mikwe, entdeckt. Es wurde um 1250 erbaut.
Im Jahr 2015 wurden die Alte Synagoge und die Mikwe sowie ein ebenfalls um 1250 erbautes Steinhaus im mittelalterlichen Stadtkern von Erfurt, das Juden gehört hatte, als Weltkulturerbe vorgeschlagen. Dieses wurde vorläufig in die Liste aufgenommen, aber es wurde noch keine endgültige Entscheidung getroffen.
