Das Spital geht auf Conrad Gaymann († 1376) zurück. Der Chorherr in St. Andrä und Domherr in Freising bestimmte in seinem Testament von 1374, vermutlich unter dem Eindruck der Pestepidemie, dass sein gesamter Nachlass zur Errichtung einer Behausung für arme, notdürftige und kranke Menschen zu verwenden sei. Das erste Stiftsgebäude war, archäologischen Funden nach, ein zweischiffiges Saalgebäude in der Nähe der Moosach im Osten der Altstadt und wurde vermutlich schon 1378 fertiggestellt. Im Jahr 1380 fertigte Bischof Leopold von Sturmberg die Stiftungsurkunde aus, die festlegte, dass der Domdekan die Verwaltung führen und die Pfarrei St. Georg für die Seelsorge zuständig sein sollte. Zum Spital gehörte auch eine geostete einschiffige Kapelle mit einem Turm an der Nordseite.

Das Stift finanzierte sich durch Geld oder Eigentum das Geistliche und auch Laien dem Stift vermachten. So stifteten die Münchner Patrizierfamilien Kopffenperger und Kolb im Jahr 1416 eine beträchtliche Summe für eine tägliche Messe. Heute erinnert eine wieder freigelegte Inschrift von 1750 am Chorbogen an diese Spende. Die Kirche wurde 1489 umgebaut und unter Bischof Ernst von Bayern 1607 nochmals renoviert.