Prawie siedemdziesięcioletni książę rozpoczął w 1857 budowę rozległego romantycznego zamku w Světcach, ale nie dokończył jego budowy, gdyż zmarł w 1862. Częściowo zburzony budynek kościoła klasztornego został w pewnych fragmentach rozebrany i również włączony do zamku. W ciągu pięciu lat budowy wzniesiono surową konstrukcję zamku z trzema wieżami. Całość reprezentowała mieszankę stylów. Zbudowano wieże skrzydła północnego i ukończono elewację w kierunku Tachova. Następcy Alfreda I nie kontynuowali już tej realizacji. Na przełomie XIX i XX budowla została w dużej mierze rozebrana i przetrwała do dziś jedynie w części, jako trwała ruina. W ciągu kilkudziesięciu lat zawaliła się duża część nowego zamku, a w okresie międzywojennym z budowli pozostały tylko ruiny dawnego kościoła i północnego skrzydła ze zrujnowaną wieżą. Klasztor służył jako kancelaria leśna, a obecnie jako średnia budowlana szkoła zawodowa.