Um 1130 errichtete Erzbischof Konrad von Salzburg auf dem Platz einer Benediktinerabtei des 8. Jahrhunderts ein Augustiner-Chorherrenstift, das später barockisiert und 1803 aufgehoben wurde. König Ludwig II. erwarb die Insel 1873 als Standort für sein neues Schloss und richtete im sog. Konventstock (Ostflügel) der Klosteranlage Privaträume ein, die im Rahmen des Museumsrundganges besichtigt werden können. Im Speisezimmer konzipierte 1948 der Verfassungskonvent das Grundgesetz der Bundesrepublik Deutschland.

"Vom Kloster zum Königsschloss" und "Der Weg zum Grundgesetz" sind aber nur zwei der Themen des Museums.

Im ersten Obergeschoss des Konventstocks (Ostflügel) befindet sich die Galerie Maler am Chiemsee, und im Fürstenstock (Südflügel) können der illusionistisch ausgemalte Kaisersaal, das Gartenzimmer und die Hofküche besichtigt werden.

Die Stiftsanlage beherbergt außerdem im Prälaturstock (Nordflügel) die Gemäldegalerie Julius Exter.

Nördlich des Augustiner-Chorherrenstiftes (Altes Schloss) befindet sich die ehemalige Pfarrkirche St. Maria, ein spätgotischer, barockisierter Bau mit einer bemerkenswerten Felderdecke von 1630. Dem heute als Restaurant genutzten Klosterseminar von 1740 vorgelagert liegt der 1893 angelegte "Platanensaal", von dem man einen herrlichen Blick zur Fraueninsel hat.