Klein Fresenburg maakte oorspronkelijk deel uit van het grote huis Fresenburg, maar werd na een verbouwing in 1569 door eigenaar Dirck van Werckhoven als een zelfstandig huis beschouwd. De gevelsteen tussen de verdiepingsvensters heeft betrekking op deze verbouwing.
De tekst luidt:
DIT.HVIS.VOER.GOD
BEQUAM.CLEIN.VRESEN
BERGH.IS.SINEN.NAEM
15*69