Unbekannt ist, wer die Burg ursprünglich erbaut hat. Im Jahr 1172 wurde erstmalig der Name der Burg mit Eberhard de Grifenstein aus dem Geschlecht der Schlüsselberger erwähnt. Etwa 100 Jahre später erwarben die Herren von Streitberg die Burg. Anfang des 16. Jahrhunderts wurde die Burg im Bauernkrieg zerstört. Fürstbischof Marquard Sebastian Schenk von Stauffenberg ließ die Burg in den Jahren 1691-1693 restaurieren, da sie baufällig war. Unter der Leitung von Leonhard Dientzenhofer wurde die Burg in ein Barockschloss umgebaut. Im Jahr 1691 erhielt der Bamberger Fürstbischof Marquard Sebastian Schenk von Stauffenberg die Burg Greifenstein für seine Verdienste um das Bistum Bamberg als Lehen mit dem Recht der Übertragung auf Blutsverwandte. Mit dem Ende des Hochstifts Bamberg ging Greifenstein in das Eigentum der Familie Stauffenberg über, deren fränkischer Zweig das Schloss heute noch bewohnt.