W 1730 roku budynek uległ spaleniu, prawdopodobnie ze względu na pierwotną szachulcową konstrukcję. Nieznana jest data jego odbudowy, jednak budowla była uwieczniona na rycinie z 1750 roku. Inicjatorem odbudowy w stylu barokowym z mansardowym dachem był książę Karol Fryderyk. Od 1825 roku działanie Domu Wdów było finansowane nie ze skarbca księstwa, ale z budżetu miasta i datków kościelnych. W 1899 roku przed budynkiem umieszczono pomnik Ottona von Bismarcka. W 1910 roku budynek służył głównie wdowom po oleśnickich pastorach. Sześć lat później na piętrze wydzielono dodatkową przestrzeń mieszkalną, tzw. mansardę.
W latach 20. XX wieku dom był utrzymywany już przez parafię ewangelicką. W latach 30. dom stał się własnością miasta i wówczas przestał pełnić swoją dotychczasową rolę. Nie jest jednak znane, co się wówczas w nim mieściło.
W trakcie walk o Oleśnicę w styczniu 1945 roku budynek został spalony. W latach 1960–1962 lub 1960–1965 Polskie Pracownie Konserwacji Zabytków odbudowały go na podstawie projektu J. Dąbrowskiego, W. Mrożka i R. Stachury. Mury mansardy zostały rozebrane, odwzorowano portal wejściowy i obramienia okien.