Die Gründung einer befestigten Stätte auf dem Rosenberg wird um 1130 angenommen. Im Verzeichnis des Abtes Andreas vom Kloster St. Michael in Bamberg über die Bauten von Bischof Otto I. werden bei Crana ein steinernes Haus und ein Turm erwähnt. Damit dürfte Bischof Otto I. als Gründer der späteren Festung Rosenberg feststehen. Das Steinerne Haus sollte dem Schutz der Stadt dienen, gleichzeitig aber auch als nördlichstes Bollwerk zum Schutz des Hochstiftes Bamberg errichtet werden. In einem päpstlichen Schreiben vom 12. Juni 1249 erscheint der Name Rosenberg erstmals urkundlich. Dementsprechend kann mit Sicherheit angenommen werden, dass sich im Jahre 1249 eine Burg auf dem Rosenberg befunden hat. Die Erfahrung aus dem Hussitenkrieg (1419–1434 bzw. 1439) mit einer erfolglosen Belagerung, dem Bauernkrieg (1525) und der Zweiten Markgrafenkrieg (1552–1555) machten die Verstärkung der Außenmauern erforderlich. Daniel Engelhardt wurde 1566 als Baumeister gewonnen; er hatte vorher an der Plassenburg in Kulmbach mitgearbeitet. Die Anlage wurde mit einem dritten äußeren Befestigungsring umgeben. Unter Ernst von Mengersdorf wurde die Südfront umgebaut, das neue Zeughaus entstand. Fürstbischof Johann Phillip von Gebsattel ließ Wohnbauten errichten und den Luntenturm erneuern.