Im frühen 12. Jahrhundert ist die Burg erstmals urkundlich erwähnt. Der Sage nach reicht die Geschichte der Freiherren von und zu Aufseß
bis in das Jahr 1007 zurück.  Die Burg Aufseß galt als Teil eines Schutzgürtels, um das junge Bistum Bamberg vor Einfällen aus dem Osten zu schützen.  Nach Zerstörungen im Hussitenkrieg, Bauernkrieg und 30-jährigen Krieg wurde die Burg wieder aufgebaut.