Warunki naturalne Wzgórze Trosky z parą skalnych wież Panna (wysokość 57 metrów) i Baba (wysokość 47 metrów) zbudowane jest z oliwinowego nefelinitu. Stanowi pozostałość trzeciorzędowego wulkanu, który przebił otaczające go piaskowce i margle. Obie wieże skalne są wypreparowanym wypełnieniem pierwotnych kominów wulkanicznych, a ich obecny kształt jest wynikiem wietrzenia mrozowego oraz działalności człowieka. Widoczne są tu nisze mrozowe oraz spękania, gdzie występuje rozwarstwienie kolumnowe skały, podczas gdy w innych partiach nefelinit rozpada się płytowo. Podnóże wzgórza pokrywa pokrywa soliflukcyjna.

Wygląd architektoniczny mały|Rzut zamku autorstwa Vojtěcha Krále, opublikowany w 1895 roku Charakterystyczną dominantę zamku tworzy para wież wzniesionych na kominach wulkanicznych, pomiędzy którymi umieszczono wydłużony rdzeń zamkowy z dwoma pałacami. Wzdłuż północnej strony rdzenia ciągnęło się przedzamcze, umocnione murem obronnym. Forma zamku została silnie ukształtowana przez wyjątkowe warunki terenu budowlanego, lecz mimo to w rozmieszczeniu budynków widoczna jest dążność do osiągnięcia dwubiegunowej równowagi, typowej dla zamków o układzie dwupałacowym lub dwuwieżowym.