Od 1340 r. miastem Kulmbach władali Hohenzollernowie, początkowo jeszcze tylko jako burgrabiowie Norymbergi, zaś zamek Plassenburg aż do roku 1604 był ośrodkiem, z którego rządzili swymi terytoriami we Frankonii. W połowie XVI w. kolejny władca Plassenburga, margrabia Kulmbach Albrecht Alcybiades Hohenzollern, awanturnik okresu wojen religijnych w Niemczech, usiłował zdobyć dominującą pozycję we Frankonii. Wszedł w ostry spór z tzw. „związkiem frankońskim”, kierowanym przez księcia saskiego Maurycego Wettina. Został jednak pokonany w bitwie pod Sievershausen (1553), a następnie wyparty z Frankonii. Sam zamek został zniszczony w 1554 r. W następnych latach zamek został odbudowany przez architekta Caspara Vischera w stylu późnorenesansowym w formie wielkiego pałacu-twierdzy. W 1792 margrabia Aleksander sprzedał Plassenburg swojemu kuzynowi, Fryderykowi Wilhelmowi II, królowi Prus. Armia francuska połączona z siłami bawarskimi pod dowództwem Hieronima Bonaparte, brata Napoleona, prowadziła oblężenie Plassenburga w 1806. W roku 1810 Kulmbach weszło w skład Królestwa Bawarii, a zamek był wykorzystywany jako więzienie i jako szpital wojskowy.