W XV wieku cesarz Zygmunt przekazał zamek Mikołajowi z rodu Lobkoviców, od którego potomków zamek w 1454 roku kupił Jerzy z Podiebradów. Po jego śmierci zamek użytkowała wdowa po królu Jerzym. W 1562 roku majątek kupił Joachim von Neuhaus. On i jego potomkowie kazali przebudować stary gotycki zamek na renesansowy pałac. W 1622 roku majątek został skonfiskowany po bitwie na Białej Górze. Po konfiskacie majątek Hluboká został nabyty przez hiszpańskiego arystokratę, feldmarszałka cesarskiego Baltasara Marradasa, który w latach 1620–1638 zlecił przebudowę zamku zewnętrznego. Po jego śmierci w 1638 roku majątek odziedziczył jego bratanek Francesco de Salant y Marradas.
W 1661 roku od jego syna Bartłomieja majątek z zamkiem kupił Johann Adolf von Schwarzenberg, założyciel południowoczeskiej gałęzi rodu Schwarzenbergów, która rezydowała w Hluboce przez prawie 300 lat, aż do 1939 roku. Z inicjatywy księcia Adama Franza Karla zu Schwarzenberga na początku XVIII wieku zamek został przebudowany w stylu barokowym według planów Paula Ignaza Bayera i jego następcę Antona Erharda Martinelliego.