Mitte 19tes Jahrhundert, als Grafeneck gebaut wurde und der Herzog zu seinen Jagdgesellschaften nach Grafeneck eingeladen hat, wurde die Kirche zu klein. Der Turm blieb stehen und die Kirche wurde abgerissen. Eine für die Dapfener Einwohnerschaft sehr große Kirche mit 3 Emporen wurde an den Turm angebaut und im neugotischen Stil ausgestattet.