Das Rathaus wurde um 1250 als Zentrum des wesentlich älteren mittelalterlichen Marktes vor der Brücke erbaut. Im hohen Mittelalter wurden hier neben auf dem Hellweg vertriebenen Fernhandelswaren auch lokale Erzeugnisse, z. B. in Form von Lederwaren und Fleisch, verkauft und Zähne gezogen. Neben der Nutzung als Markt- und Tuchhalle diente das Gebäude als Versammlungs- und Gerichtsort. Von 1608-18 wurde es im Stil der Weserrenaissance umgebaut und erhielt den Fachwerkaufbau. Auch der reich geschmückte Erker mit der Justitia im Giebel und der Treppenturm entstammen dieser Zeit. Der damalige Ratskeller war so berüchtigt für zahlreiche Blutrunstdelikte, dass den Zunftmitgliedern das Tragen von Waffen untersagt wurde.

Am Gebäude finden sich einige Symbole der Corveyer Herrschaft über die Stadt Höxter: über dem Eingang in den Ratskeller der Kopf des hl. Vitus und auf den Dachgiebeln zwei Wetterfahnen von 1764 mit den Insignien des Stadtherrn, Krummstab, Schwert und Abtshut sowie einem Abbild des hl. Vitus.