Erbauung der Burg in zwei Bauphasen: um 1000 auf einem römischen Kastell (ist aber nicht nachgewiesen), zweite Bauphase  im 12. Jahrhundert, mit Ringmauer und Bergfried, später kamen  Wohneinrichtungen hinzu. Die Burg lag damals direkt am Rhein und diente als Zollburg. Den Namen Brömserburg erhielt die Niederburg durch die Erben der Ritter von Rüdesheim, die Brömser, die ihren Sitz auf der Presburg im Wispertal hatten. Die Brömser lebten sehr zahlreich auf der Burg. Daher entschloss man sich, sie zu erweitern und zu einer wohnlicheren Anlage auszubauen - wie oben erwähnt - . Die Anlage weicht von der herkömmlichen mittelalterlichen Burgen-Bauweise ab. Die Anlage ist von einer bis zu 18 Meter hohen viereckigen Befestigungsmauer umgeben, an allen vier Seiten Gebäudefluchten. In der Mitte der Anlage befindet sich ein Innenhof, dessen Nordostseite von dem mächtigen Bergfried eingenommen wird. Der Eingang zur Brömserburg befindet sich an der Westseite.