Das bunte Wandbild „Flucht der Heiligen Familie nach Ägypten“, eine Illustration zur Weihnachtsgeschichte aus dem Lukasevangelium, war namensgebend für das Haus. Es zeigt Maria auf dem Esel. Der Kernbestand des Gebäudes stammt noch aus dem 14. Jahrhundert, damals wurde es erstmals urkundlich erwähnt. Das heutige Haus ist stark durch das 18. Jahrhundert geprägt und wurde damals vom berühmten Barock-Baumeister Franz Beer bewohnt.
Neben dem Wandbild wurden auch die Läden und Fensterbänke überarbeitet. Außerdem wurde der Fassade ihre ursprüngliche gelbliche Farbgebung zurückgegeben. Insgesamt fünf Mal musste die Fassade dafür mit auf Mineralien basierender Farbe gestrichen werden.