Południowe stoki Żytniej Skały są zwietrzałe i podsypane rumoszem skalnym, północne podcięte są pionową ścianą. W Żytniej Skale są dwie jaskinie i 6 schronisk: Jaskinia pod Agrestem, Jaskinia w Żytniej Skale Górna, Schronisko Dolne w Żytniej Skale, Schronisko Małe w Żytniej Skale, Schronisko nad Dolnym w Żytniej Skale, Schronisko Przechodnie w Żytniej Skale, Schronisko Wysokie w Żytniej Skale, Schronisko za Stodołą w Żytniej Skale. Archeolodzy w namuliskach trzech schronisk znaleźli szczątki plejstoceńskich zwierząt i niewielką liczbę krzemiennych narzędzi z górnego paleolitu. Schroniska te były więc zamieszkiwane przez ludzi w okresie paleolitu, ale także później – znaleziono bowiem fragmenty ceramiki tzw. lendzielskiej i promienistej, pochodzące z wczesnego średniowiecza. W archeologii schroniska te znane są pod nazwą Jaskinia Żytnia.
Wierzchołek Żytniej Skały stanowi dobry punkt widokowy. Po przeciwnej stronie drogi nr 94 widoczne są z niego m.in. Duże Skałki z nieczynnym kamieniołomem i piecem do wypalania wapieni.