Die Pfarrei St. Martin hat, wie Kaufbeuren selbst, ihren Ursprung in einem um Mitte des 8. Jahrhunderts am Wertachübergang der Reichsstraße von Memmingen nach Schongau angelegten fränkischen Königshof. Dieser war der Mittelpunkt eines in der zweiten Hälfte des 8. Jahrhunderts von den Karolingern eingerichteten Königsgutbezirks. Darauf verweist neben anderem das Kirchenpatrozinium des hl. Bischofs von Tours, des Hausheiligen der Familie Karls des Großen.
Im hohen Mittelalter benannte sich nach Kaufbeuren das Adelsgeschlecht der Edlen von Buron, die den Ort und seine Umgebung bis 1167 als Reichslehen besaßen.