De gevelsteen vermeldt de naam: ‘HET HUYS OUDAEN’. Boven het zandstenen poortje staat het bouwjaar ‘M.DCL.XXX’ (1680). Op de sluitsteen in de boog wordt het wapen van de familie Van Houdaen afgebeeld.
Dit ca. 1275 gebouwde huis was een van de belangrijkste huizen langs de Oudegracht. De oudste vermelding ervan staat in een akte van 1320 waarin als eigenaar Vrederick Zoudenbalch genoemd wordt. In 1395 verwierf Dirck van Houdaen bij zijn huwelijk het huis van zijn vader Evert Taets. Tot 1492 bleef de familie Van Houdaen eigenaar, daarna had het stadskasteel verschillende eigenaren. Na 1758 gebruikte de Diaconie der Gereformeerde Nederduitse Gemeente het pand als bejaardenhuis.
De poort kreeg toen de hardstenen beelden die een oude man en een oude vrouw voorstellen. Daarboven prijkt de gedenksteen met het opschrift:
DIACONIE
OUDE MANNEN EN VROUWEN
HUIS
In 1964 verhuisde het bejaardenhuis en bleef Oudaen twintig jaar ongebruikt. Sinds een restauratie die tussen 1984 en 1986 plaatsvond, herbergt het huis een brouwerij, een restaurant en expositieruimte.