Dlatego też jeszcze w tym samym 1563 roku po przejęciu dóbr Frysztat podjął się książę Fryderyk Kazimierz budowy nowej reprezentacyjnej siedziby, dla której znalazł miejsce w pobliżu miasta Frysztat na wzniesieniu wsi Raj. Budowa renesansowego zamku Raj była po siedmioletnich staraniach zakończona w 1570 roku i jeszcze tego samego roku Fryderyk Kazimierz mógł się tu wprowadzić.

Budując kosztowną siedzibę, książę Fryderyk Kazimierz znacznie się zadłużył. W 1569 roku został wdowcem, a dwa lata później zmarła jego sześcioletnia córka Katarzyna. Kiedy w 1571 roku został zaproszony do Pragi na osobistą wizytę u cesarza Maksymiliana I, po drodze zachorował i nagle zmarł. Po jego śmierci były zadłużone dobra Frysztat podzielone i jego wydzielona część z zamkiem Raj przypadła na jakiś czas Wacławowi z Cedlic.