Budowla Wschodnie, północne, i południowe stoki Chrostowskiej Góry są strome, mają więc własności obronne. Jedynie od zachodniej strony są łagodne, w tym celu od strony tej wykonano szeroką fosę poprzeczną. Później, już po zniszczeniu zamku, została ona poszerzona wskutek wybierania kamieni, obecnie nie można więc ustalić jej rozmiarów. Na szczycie jest płaskie plateau o wymiarach 28 × 23 m z bardzo słabo zachowanymi resztkami wewnętrznych okrężnych wałów obronnych. Lepiej zachowały się zewnętrzne wały obronne od strony północnej, południowej i wschodniej. Obecnie mają szerokość 3 m, a ich wysokość nie przekracza 1 m. Widoczne są przy nich trójkątne nasypy ziemne będące prawdopodobnie pozostałościami bastionów.
Na szczytowym plateau Chrostowskiej Góry istniał murowany budynek, jego resztki są obecnie ukryte pod ziemią. W XIV wieku w zachodniej części wybudowano kamienną wieżę obronno-mieszkalną na planie kwadratu o boku 7,5 m. Zachowały się resztki jej murów o grubości 1,9 m. Ponadto wały ziemne wzmocniono w środku kamiennym murem. Prawdopodobnie w jednym z pomieszczeń wieży istniała zamkowa kaplica, wspomina o niej w 1935 r. kapelan dworu Mikołaja z Marszowic, który wówczas był właścicielem Chrostowej. Zamkowa kaplica istnieje też w legendach i ustnych przekazach.