Das Schloss wurde nach den Herren von Winkel benannt; Vollradus ist ein Vorname. So wird 1218 ein "Vollradus in Winkela" (so genannter Ritter Vollradus), 1268 ein "Conradus dictus Vollradus armiger" quellenkundlich erwähnt. Von der ursprünglichen Bausubstanz aus dieser Zeit ist nichts mehr nachvollziehbar.

Den Kern des heutigen Schlosses bildet ein als Wasserburg errichteter wuchtiger Wohnturm, der von einem quadratischen Teich umgeben und daher nur über eine Brücke zu erreichen ist. Er geht auf das erste Drittel des 14. Jahrhunderts und die Familie von Greiffenclau zurück, die Erben der Herren von Winkel waren. Der 8-eckige Treppenturm, der den Donjon flankiert, wurde 1471 angebaut; der Erker ist eine Zutat von 1620. Über dem Eingang zum Wohnturm prangt das Familienwappen der Greiffenclaus.

1684 wurde das heutige zweiflügelige Herrenhaus (damals 2-geschossig) von Georg Phillip Greiffenclau von Vollrads neben dem Turm erbaut. Sein Sohn Johann Erwein baute schließlich um 1700 die Wirtschaftsgebäude an, baute Begrenzungsmauern um den Schlossgarten und versah den Wasserturm mit einem barocken Haubendach.