W latach 1705–1711, wyburzono kamienice stojące przy ulicy Krawieckiej i na ich miejsce wzniesiono miejski pałac. Inwestorem był dla bankiera Gottfrieda Christiana von Schreyvogla, który za pośrednictwem swojego brata Johanna Christiana von Schreyvogla zakupił cały teren. Obaj, od 1701 roku posiadali tytuły szlacheckie, a od 1705 zostali podniesieni do stanu rycerskiego Rzeszy. Kamień węgielny w 1705 roku pod budowę przyszłej rezydencji położył syn właściciela, trzynastoletni Carl Anton von Schreyvogel. Projektantem pałacu był wiedeński architekt Johann Lucas von Hildebrandt a wykonawcą projektu był Johann Georg Kalckbrenner. W 1721 roku pałac uległ częściowemu zniszczeniu w wyniku pożaru. Od 1726 do 1760 pałac należał do hrabiego Churschwandta, a po 1774 do hrabiego Schlabrendorfa. Frontowy budynek z pomieszczeniami reprezentacyjnymi był najczęściej wynajmowany. Do 1730 roku mieszkał tu starosta księstwa wrocławskiego hrabia Otto Wenzel von Nostiz. Podczas wojny siedmioletniej, w latach 1756–1763, w pałacu rezydował generał Friedrich Bogislav von Tauentzien wraz z adiutantem Gottholdem Ephraimem Lessingiem.