Urkundlich bezeugt ist die Burg erstmals 1312 unter den nachgelassenen Besitzungen der Grafen von Rabiswalde, als Wendilsteyn 1322. Sie gehörte zunächst den Grafen von Weimar, diese mussten sie aufgrund ihrer hohen Schulden an den landgräflichen Hofrichter Christian von Witzleben verkaufen. Durch diesen erfolgte der Ausbau. Der älteste Teil der Burg mit trutzigen Mauern und Türmen ist dem Westflügel vorgelagert, hier sind auch Reste einer romanischen Kapelle zu besehen. 1560 und 1590 erfolgten weitere Umbauten zum Wohnschloss. Der aus der späten Renaissancezeit stammende Nordflügel ist nur noch teilweise erhalten, bietet aber immer noch ein imposantes Bild. Die Burganlage wird von einem stattlichen, in mehreren Stufen abfallenden Burggraben umgeben, der wiederum von einem Wall mit Kasematten abgegrenzt wird. 1623 geriet Wendelstein in den Besitz des Kurfürsten Johann Georg I. von Sachsen. Während des Dreißigjährigen Krieges wurde sie 1632 von den Pappenheimern, 1632 und 1640 von den Schweden verwüstet, danach wurden nur noch einfachere Fachwerkbauten errichtet. Im 18. Jahrhundert entstand eine weithin berühmte Pferdezucht aus Pferden polnischer, türkischer und tatarischer Rassen. Während der Freiheitskriege wurde das Gestüt am 26. Mai 1813 durch Lützower Jäger unter einem Kommando von Theodor Körner seiner Pferde beraubt. Das Gestüt wurde nicht wieder besetzt; nachdem Wendelstein 1815 Preußen zugeschlagen wurde, verfiel die Domäne.