Die Waldburgerhebt sich 772 m über Meereshöhe auf einer allseits steil abfallenden eiszeitlichen Moraenenkuppe im oberschwaebischen Voralpenland.

Die Kernburg, die sich aus Palas, Kapellenturm und Wirtschaftsgebäude zusammensetzt, nimmt die gesamte, nicht allzu grosse Kuppe des Hügels ein. Diese Gebäude sind durch hohe Ringmauerstücke miteinander verbunden, die an drei Seiten wiederum von einer Zwingermauer gesichert werden.