Die Höhenburg gilt als die Stammburg des Freiadelsgeschlechtes der Gundelfingen. Dieses Geschlecht ist seit dem 12. Jahrhundert bekannt. Swigger IV. von Gundelfingen (etwa 1160–1228) ist als möglicher Erbauer der Burg zu nennen.

Die Reste des Bergfrieds aus Buckelquadern stammen aus der Zeit des beginnenden 13. Jahrhunderts. Die Errichtung des hochwertigen Mauerwerks fällt hier mit der Blütephase des Adelsgeschlechtes zusammen. 1236 wird die Burg urkundlich zum ersten Mal genannt.