Op de gevelsteen is in vogelvlucht een vesting afgebeeld. Deze vesting lijkt een afbeelding van de citadel van Antwerpen te zijn. De tekst in de bovenrand van de steen luidt: ‘IN KASSTEL TANTWERPEN’. Op een aan Jan Brueghel toegeschreven tekening uit ca. 1620 heeft het ‘Kasteel van Antwerpen’ een houten gevel. Het huis heeft eeuwenlang dienst gedaan als logement. Het pand heette in 1613 het Çasteel van Antwerpen’, 1620 het ‘Wapen van Antwerpen’ en in 1667 ‘vanouts Schoonegge en nu Casteel van Antwerpen’.
Oorspronkelijk bestond het gebouw uit twee huizen: een meer naar achteren gelegen 13de-eeuws, gedeeltelijk bakstenen, gedeeltelijk tufstenen dwarshuis, bestaande uit twee bouwlagen met een zadeldak tussen twee trapgevels en een wat later middeleeuws diep voorhuis dat tot aan de straat reikte. Oorspronkelijk had het huis ook een uitgang aan de Lange Elisabethstraat (nr 9), via een poorthuis. Het middeleeuwse houten voorhuis is in 1882 afgebroken en vervangen door een nieuwe stenen gevel in neobarok stijl, waarbij de twee van oorsprong middeleeuwse huizen zijn verbouwd tot hotel. Bij deze verbouwing, respectievelijk herbouw, zijn nog middeleeuwse muurdelen van het achterhuis bewaard gebleven. De aanduiding ‘ANNO 1882’ memoreert deze herbouw.
De gevelsteen dateert al van vóór 1882, en is dus herplaatst. De steen lijkt te dateren uit 2e kwart 17e eeuw. (Bron: Nicolaas van der Monde en de Utrechtse gevelstenen/J.W.C. van Schaik. Utrecht, 1990)
Anekdote over het logement In Oud Utrecht (15 maart 1946) staat het volgende verhaal over het Kasteel van Antwerpen vermeld: Uit een brief van een student uit Engeland, J. Steuart, die in Utrecht studeerde, horen wij dat in oktober 1695 lady Dundee met haar tweede man, Alexander Livingstone, vicount of Kilsyth haar dochter en het kindermeisje in Utrecht verbleef en hun intrek hadden genomen in het ´Het Kasteel van Antwerpen´tot zij een beter logement hadden gevonden. Op 16 oktober ging J. Steuart naar ´Het Kasteel van Antwerpen´om aan de algemene tafel met de familie Kilsyth (of Kilseith) te gaan eten. Na het eten liep hij om twee uur naar boven toen een bediende hem tegemoet kwam met de mededelingdat de kamer van lady Dundee (zoals zij zich bleef noemen) was ingestort. Bij de kamer aangekomen, bleek dit maar al te waar. Kilsyth had twee gekneusde benen en al zijn kleren waren gescheurd. Lady Dundee, haar dochter en het kindermeisje waren echter dood. Wat was er gebeurd, Het bleek dat er de hele dag turf naar boven was gesjouwd (300 ton) en dit bleek de zoldering niet te kunnen dragen en deze bezweek precies boven de kamer van de Engelse gasten. De lijken van lady Dundee en haar dochter werden in Utrecht gebalsemd en zijn daarna naar Schotland vervoerd. Het kindermeisje is nog dezelfde dag in Utrecht begraven. Hierna ging het verhaal rond dat er opzet in het spel zou zijn en dat de waard de balken zou hebben doorgezaagd. Lady Dundee en haar eerste man zouden Jacobieten zijn geweest, aanhangers zijn van Jacobus II, de afgezette koning van Schotland, en betrokken zijn geweest bij een plan om de koning-stadhouder Willem III van de troon te stoten. Deze versie van het verhaal lijkt echter niet op waarheid te berusten en wordt ook weersproken door de brief van de Engelse student.
Zie voor de geschiedenis van het pand: Verdwenen horeca: Hotel Kasteel van Antwerpen aan de Oudegracht, door Arjan den Boer. In: DUIC, 4 oktober 2022