1491 en 1839
Tussen 1248 en 1267 werd hier een Regulierenklooster gesticht. Na de reformatie, in 1582, werd het klooster opgeheven en nam het het Elisabethsweeshuis het gebouw in gebruik genomen. Dit weeshuis was in 1491 gesticht door Everaert Zoudenbalch, en stond oorspronkelijk naast kasteel Vredenburg. Vanaf 1796 werd het het Gereformeerd Burgerweeshuis genoemd.
In 1839 kreeg het pand een nieuwe gevel.
In 1926 waren er nog veertien weeskinderen over en verhuisde het weeshuis naar een veel kleiner pand aan de Nieuwegracht 98. De Nederlandsche Vereeniging voor Spoor- en Tramwegpersoneel nam daarna het pand in gebruik. Het zou nog vele jaren bekend staan onder de naam ‘NV-huis’. Een gevelsteen aan de achterkant van het gebouw herinnert daar nog aan.
Begin jaren ’80 werd het pand gekraakt en daarna gebruikt als poppodium onder de naam Tivoli (tot 2014).