W okolice wzniesienia około XIV–XV wieku docierali poszukiwacze kruszców. W okolicy Zwaliska w przeszłości znajdowały się szybiki kopalń złota. Zwalisko w połowie XIX wieku było licznie odwiedzane przez turystów docierających na szczyt konno lub w lektykach ze starego schroniska na Rozdrożu Izerskim. Grupa hornfelsowych skałek przed II wojną światową podlegała ochronie jako pomnik przyrody. Wzniesienie w przeszłości było nazywane: "Zamek Wieczorny", "Abendburg", "Odenburk", "Abend-Rottenburg", "Abend-Rotte-Burg", "Abendbruck", "Obentrotisborgk", "Schloß", "Alte Schloß", "Schloßberg".
Inne W latach 80. XX wieku w górnych partiach szczytu w wyniku klęski ekologicznej, wywołanej zanieczyszczeniem powietrza, został całkowicie zniszczony las monokultury świerkowej, zaszczepiony w XIX wieku. Obecnie na stokach, w miejscu zniszczonego lasu, rośnie młode pokolenie drzew.