Pomimo prób ratowania budynku przez Zakłady im. Wielkiego Proletariatu budynek wyburzono w 1961 roku. W późniejszych latach zostały zniszczone lub rozkradzione rzeźby w otaczającym nieistniejącą już willę parku i inne elementy małej architektury. W 2011, 2014 i 2015 roku przeprowadzono na terenie, gdzie stał budynek, badania archeologiczne, w wyniku których odnaleziono fundamenty Willi Ziesego.
Architektura Willa zbudowana w stylu historyzmu na wzgórzu nazwiązując formą do zamku. Przy narożniku wznosiła się ośmioboczna wieża. Budynek wieńczyły wzajemnie przenikające się, wysokie czterospadowe dachy. Z każdej strony pałacu umieszczone były ryzality, które były wieńczone przez wielopiętrowe szczyty. Fasadę parteru dekorował ciąg arkad przedzielonych półkolumnami, na których wpsierał się taras pierwszego piętra.
Budowla kontrastowała z sąsiadującą Kolonią Pangritza (osiedlem robotniczym), co miało symbolizować motyw wsi i folwarku. Formalnie budynek nie był częścią Elbląga co podkreślało przywiązanie do podmiejskich majątków mieszczańskich.