Eher als Palast mit Garten denn als ein reines Wohnhaus, wurde das heutige Museumsgebäude ab 1790 unter Leitung des umtriebigen Bauunternehmers Anton Georg Hauptmann (1735-1803) nach einem Riss des Baukontrolleurs, Landbaumeisters und später zum Baumeister ernannten Johann Friedrich Rudolph Steiner (1742-1804)  errichtet. Ein bemerkenswertes und denkmalgeschütztes Gebäude, das als eines der ersten und größten bürgerlichen Wohnhäuser Weimars gilt, die in neuer, zunächst von fürstlicher Seite aus einsetzender hochklassizistischer Baugesinnung erbaut wurde.
Ursprünglich noch vor den Toren der südlichen Weimarer Altstadt, wurde es als großzügiges Stadtpalais mit Parkanlage auf zuvor freiem Gelände aufgeführt.
Zur Parkanlage zählte die heute als Poseck’scher Garten benannte Grünfläche, die sich, für die noch barock geprägte Zeit ungewöhnlich, seitlich an das Gebäude anlehnt.