Monaster Banjska zaczął podupadać już w XV w. W 1419 miał miejsce pożar monasterskiej cerkwi. Jeszcze w 1433 klasztor był czynny, jednak już w II poł. XV w. przestał funkcjonować. W kolejnym stuleciu na rozkaz sułtana tureckiego klasztor zniszczono, gdyż ukrywali się w nim chrześcijanie uciekający przed Turkami. Podczas wojny turecko-austriackiej w 1689 zniszczony monaster był wykorzystywany do celów wojskowych przez obie strony. Odrestaurowaną cerkiew św. Stefana Turcy spalili ponownie podczas pierwszego powstania serbskiego. Po jego zakończeniu świątynię przekształcono w meczet, którą to funkcję obiekt spełniał do 1912. W okresie międzywojennym profesor Uniwersytetu Belgradzkiego Đurađ Bošković opracował projekt odbudowy monasteru, jednak do prac przy jego realizacji przystąpiono dopiero w 1938 i wskutek wybuchu II wojny światowej nigdy ich nie ukończono. Odbudowano jedynie cerkiew św. Stefana. Chociaż w świątyni nie odbywały się nabożeństwa, miejscowa ludność prawosławna przybywała na wspólną modlitwę w ruinach.