Valdštejnowie posiadali ruinę do 1821 roku, kiedy sprzedali ją Janowi Lexie z Aehrentalu, który zgodnie z modą epoki rozpoczął przekształcanie jej w duchu romantyzmu, lecz plany zostały zrealizowane tylko częściowo. Jego syn, Alois, rozpoczął w 1841 roku budowę spiralnych schodów, za pomocą których chciał udostępnić szczyt Panny, a tym samym punkt widokowy na daleką okolicę. W 1843 roku budowniczy jednak zmarł, a budowa pozostała niedokończona.
W 1925 roku ruina stała się własnością państwa czechosłowackiego jednak już dwa lata wcześniej, z inicjatywy Klubu Czeskich Turystów, przystąpiono do remontów obu wież, murów obronnych i bram. Kolejne prace naprawcze prowadzono w latach 1934–1935. W drugiej połowie XX wieku realizowano specjalistyczne działania mające na celu statyczne zabezpieczenie masywu skalnego oraz pozostałości zabudowy. W latach 1999–2000 zbudowano schody prowadzące do wieży Baba. W pierwszej połowie 2024 roku odnowiono nawierzchnię wewnątrz wieży Baba oraz wykonano nowy stalowy taras widokowy na szczycie wieży.