Nie wiadomo kto faktycznie użytkował zamek po śmierci biskupa Jana Kropidły. Po śmierci Bolka IV w 1437 r. posiadłości odziedziczyli jego synowie. Wkrótce jedynym władcą Opola stał się Mikołaj I opolski, co prawdopodobnie spowodowało, że Zamek Górny jako druga rezydencja przestał był potrzebny. Dodatkowo kilkadziesiąt lat później w związku z modernizacją systemu obronnego Opola zamek stracił znaczenie jako obiekt obronny. Prawdopodobnie wszystko to przyczyniało się do zaniedbania budowli.
Zamek Górny po panowaniu Piastów Bezpotomna śmierć ostatniego z opolskich Piastów księcia Jana Dobrego w 1532 r. spowodowała, że całe księstwo opolsko-raciborskie przeszło we władanie Habsburgów. Od tego czasu Opole nie miało gospodarza na miarę rezydujących w mieście książąt piastowskich i ulegało powolnej degradacji. W XVI w. Zamek Górny był już bardzo zniszczony. W 1615 r. w Opolu wybuch wielki pożar, który strawił pozostałości zamku. W 1619 r. Jakob Schickfuß twierdził, że poza czworoboczną wieżą używaną jako spichlerz i dużego murowanego chlewu zamek jest całkowicie zniszczony, a teren po nim wyrównany. Plac po zamku został przekazany garncarzom.