Dopełnieniem pałacu był ogród typu francuskiego, założony przez biskupa Franciszka Ludwika w 1702 roku. Znajdował się on na miejscu wcześniejszego kwaterowego ogrodu włoskiego, pomiędzy głównym korytem rzeki Nysy Kłodzkiej a wodami Młynówki.
Biskupi wkrótce jednak utracili swą nową rezydencję. Po przejęciu północnej części Księstwa Nyskiego przez Prusy w 1742 roku została ona przekazana w użytkowanie władzom wojskowym.
W pałacu tym miało miejsce spotkanie króla pruskiego Fryderyka Wielkiego z cesarzem Józefem II w 1769 roku. To historyczne wydarzenie utrwalił malarz niemiecki Adolph Menzel.
Pod koniec XVIII wieku, dzięki zręcznej polityce kardynała Gustawa Hohenlohe budowlę udało się na krótki czas (1796-1810) odzyskać dla biskupów wrocławskich.
W 1807 roku, po wkroczeniu do Nysy armii francuskiej, w pałacu biskupim zamieszkiwał dowódca korpusu wirtemberskiego Hieronim Bonaparte.