Die Ursprünge der vom Erzbischof von Mainz erbauten Burg Hardenberg reichen bis ins zehnte Jahrhundert zurück. Die Burg setzte der geistliche Fürst einzig zur Verteidigung seines Besitzes und zum Schutz der Bevölkerung ein. Zur ständigen Aufsicht und Verwaltung wurden sogenannte Burgmänner beauftragt, zu denen auch die Familie von Hardenberg gehörte. Als um 1400 dem Bistum Mainz das Geld ausging, wurde die Burg mitsamt der Ländereien ihren Verwaltern, den Grafen von Hardenberg, übereignet.