Die massive Bauweise hat das Hotel „Bayerischer Hof“ wahrscheinlich Leo von Klenze zu verdanken, der das Haus erbauen ließ. Leo von Klenze gilt als einer der bedeutendsten klassizistischen Architekten. Er gelangte vor allem in seiner Stellung als Hofarchitekt von König Ludwig I. von Bayern zu Bedeutung.

Die ersten Pächter waren ab dem Jahr 1880 Johann und Theresie Harffen von Bayern, die hier den „Gasthof zum Harffen“ gründeten.

Die Kaiserin von Österreich, die im nahen Possenhofen ihre Kindheit verlebt hat, war viele Sommer lang mit großem Gefolge samt Pferden der prominenteste Gast dieses altehrwürdigen, gut 150 Jahre alten Hauses, das sich bereits seit 1905 in Familienbesitz der Wittelsbacher befindet.

Im Besitz des Herzoglichen Brauhauses Tegernsee, sanierte 1952 die „Hotelbetriebsgesellschaft Starnberg“ das Haus gründlich, ohne jedoch seine Architektur zu zerstören.