1250 wurde mit dem Bau des Zisterzienser-Nonnenklosters  begonnen. Die heutige Gestalt erhielt der Bau gegen Ende des 14. Jhs. Außerhalb der Klausur am Eingang zur Klosterkirche und dem Kloster gelegen war dieser Bau seit jeher der Stadt zugewandt und zugänglich. Bis zur Reformation im 16. Jh. kehrten zahlreiche Pilger hier ein. In der Reformation wurde das Kloster in ein evangelisches Damenstift umgewandelt; das Klostergut wurde zur kurfürstlichen (später königlichen) Domäne. Nach dem großen Brand von 1801 wurde die Klosterkirche zum Abriss freigegeben und die ehemalige Pilgerstätte als Scheune genutzt. Zuletzt diente das Haus nur noch als Abstellraum.