Es ist anzunehmen, dass die Burg einen erhöhten Zugang an der Ostseite über eine Zugbrücke o.ä. besaß.  Einstmals Eigentum der Rothenburger, kam die Burg in den Besitz der Beichlinger und schließlich der Schwarzburger Grafen – genauso wechselten die eingesetzten Burgvögte. Mit der rückläufigen Bedeutung des Rittertums, war auch die Erhaltung der Burg in Frage gestellt. Nicht zuletzt war ihre Eigenständigkeit durch den Bau der Stadtmauer eingeschränkt. So übergaben die Schwarzburger 1575 die Anlage an die Stadt. Aus Niederschriften von Geschichtsschreibern ist bekannt, dass bereits 1560 eine Hausmannswohnung in der Burg hergerichtet wurde und eine Gesamtsanierung derselben erfolgte. Die Hausmänner hatten die Aufgabe die Stundenglocke zu läuten, nachts die Viertelstunden mit dem Horn sowie auch Brandausbrüche zu verkünden. Mit der Übergabe an die Stadt erhielt der Turm einen neuen Turmknopf, der bereits 1613 erneuert werden musste. Während dieser Zeit wurde der Hausmannsturm als alte Burg bezeichnet. Die zuvor bekannten Bezeichnungen reichen von dem bereits erwähnten Frankenhaus 998 über Haus 1340, Oberhaus 1356, Oberburg 1381 bis zur Burg 1485.

Die Auswirkungen des 30jährigen Krieges bis 1656 zehrten auch an der Bausubstanz des Hausmannsturmes, dessen Instandsetzung auf 300 Gulden  veranschlagt wurde. Die Darstellung der Stadt durch Merian 1650 lässt darauf schließen, dass eine Instandsetzung der alten Burg erfolgt ist. Der Palas war in Richtung Süden mit einem Stufengiebel gestaltet und das großflächige Steildach mit mehreren Gauben oder Erkern unterbrochen. Der Bergfried war ein zylindrischer, überhöhter Turm mit einer achteckigen Turmhaube mit sechs äußeren Türmchen. Daraus aufsteigende sechs Stützen tragen die obere Turmhaube mit der Spitze und dem Turmknopf. Zwischen beiden Hauben war die Stundenglocke angebracht.