Bischof Friedrich IV. von Oettingen (1383–1415) führte den Nordturm bis zur heutigen Höhe und schloss an ihn einen viergeschossigen Bau für den Burgvogt, Bischof Albrecht II. von Hohenrechberg (1429–1445) verlegte die ursprüngliche Zufahrt in die Wehrmauer südlich des Torturmes. Ebenso legte er westlich des Halsgrabens die geräumige Vorburg an, deren Ummauerung mit vier Türmen erhalten ist. Bischof Wilhelm von Reichenau (1464–1496) ersetzte an der Ostspitze des Berges den alten Grafenbau durch ein dreigeschossiges Herrenhaus, dessen Außenmauern einschließlich der ursprünglichen Fensterachsen im heutigen Saalbau noch fortbestehen. Unter Bischof Martin von Schaumberg (1560–1590) entstand der große Nordflügel, dessen Fenster auf der Nordseite noch die steinernen Sohlbänke und Verdachungen tragen. 1632 brannte die Burg durch Blitzschlag zum großen Teil aus, nur die Türme, das Pflegerhaus und die Kapelle blieben verschont. Ein Votivbild des Pflegers Lorenz von Helmstadt, das heute im zweiten Obergeschoss des Treppenhauses hängt, vermittelt ein Bild von der zerstörten Anlage. Erst 1670 bis 1729 wurde die Burg teils wieder aufgebaut, teils erneuert. Viele Teile blieben aber unsaniert. Daher wurde eine neue Gesamtplanung erstellt, die das Schloss im Sinne der großen Schlossarchitektur des Spätbarocks verwirklichen sollte. Den Auftrag hierzu erteilte Bischof Raymund Anton Graf von Strasoldo (1757–1781). 1760 bis 1764 baute der fürstbischöfliche Hofbaudirektor Moritz Pedetti die bis heute sichtbare symmetrische Rokoko-Schlossanlage. Pedetti führte den Südflügel an der Stelle des alten Getreidekastens bis zu seiner heutigen Ausdehnung nach Westen und brach den Pflegerbau sowie die hohe Schildmauer zwischen den Wehrtürmen ab. Auf diese Weise gewann er einen symmetrisch verlaufenden Ehrenhof von 150 m Tiefe. Sodann erhielt die Vorburg in der Verlängerung der Mittelachse eine 60 m tiefe Allee, die in der sogenannten „Fürstenstraße“ schnurgerade durch die Felder und Fluren tief in die angrenzenden Jurawälder führt. Schließlich gab Pedetti der gesamten Außenarchitektur des Rokokoschlosses eine einheitliche Fassadengliederung, während Johann Jakob Berg den Innenräumen eine reiche Stuckausstattung verlieh.