Najbardziej znaczącymi gośćmi miasta byli cesarz Ludwik Bawarski (1317) oraz król Wacław IV Luksemburski (1383). Szczególnie ważnym dla Aschaffenburga okazał się Albrecht von Brandenburg, arcybiskup Moguncji i Magdeburga, który z powodu reformacji w 1539 ratował się ucieczką z Halle do tego miasta zabierając ze sobą liczne dzieła sztuki nad Men. Średniowieczny zamek Johannisburg został splądrowany i zniszczony podczas wojen margrabiów. Wiele z dzieł sztuki, które przywędrowały tutaj wraz z von Brandeburgiem zaginęło. Wśród tych, które pozostały, wymienia się prace Lucasa Cranacha Starszego, jak i innych przedstawicieli jego szkoły, które są wystawione w zamkowej Galerii Państwowej Aschaffenburga.
W 1604 roku nowy elektor moguncki Johann Schweikhard von Kronenberg zlecił odbudowę zamku. Prace prowadzone były pod nadzorem mistrza budowlanego i architekta ze Strassburga Georga Ridinger. Pozostawił on pozostałości starego zamku oraz samotnie stojącą wieżę. Zachodnia ściana nowego budynku sięgała 20 metrów wysokości. W środkowej części zamku znajduje się herb arcybiskupa-elektora Johanna Schweikharda, który wykonany został przez rzeźbiarza Hansa Junkera. Zniszczony podczas II wojny światowej herb został ponownie zrekonstruowany podczas renowacji obiektu. thumb|Pawilon śniadaniowy Nazwa zamku ma podwójne uzasadnienie.