Po śmierci ostatniej przedstawicielki rodu von Görz, Małgorzaty Maultasch, zamek przypadł Habsburgom i został przebudowany w stylu renesansowym przez arcyksięcia Zygmunta Habsburga, który przepisał go swojej żonie Katarzynie Saskiej. Następnie arcyksiążę Ferdynand II Habsburg rozbudował go na okazały pałac i przeniósł tu swoje słynne zbiory, które zaczął gromadzić w Pradze jeszcze jako namiestnik Czech.
thumb|Zamek Ambras na sztychu Matthäusa Meriana (połowa XVII wieku)
Ponieważ Tyrol po 1665 r. nie był już siedzibą książęcą i pozbawiony został reprezentacji na dworze, zamek Ambras służył do połowy XIX wieku różnym celom, jak koszary, czy lazaret. Pomimo tego słynne zbiory nadal pozostawały w zamku. W latach 1855–58 został za panowania namiestnika Tyrolu, arcyksięcia Karola Ludwika, ponownie przystosowany do celów mieszkalnych. Po 1913 r. zamek miał zostać letnią siedzibą rodziny arcyksięcia Franciszka FerdynandaANNO|nfp|31|08|1913|08|AUTOR=|Besichtigung des Schlosses Ambras durch den Erzherzog-Thronfolger (…)|ZUSATZ=Morgenblatt, Nr. 17609/1913|ALTSEITE=8, Mitte links..