Budynek został wzniesiony na terenie, gdzie wcześniej nie było zabudowań, poza wodozbiorem. Przyczyną było sąsiedztwo ze wsią Ujazdów. Dopiero gdy wieś została przeniesiona, na skarpie, która tworzyła malownicze tło, zaczęto budowę. Już w 1776 r. Merlini robił jej projekty. Początkowo miała to być budowla niewielka, lecz piętrowa, w stylu chińskim. Według innego planu miałaby szeroki front w formach klasycznych, ale byłaby zbyt niska. Kolejny projekt zawierał teatr znajdujący się w skrzydle. Szymon Bogumił Zug (ówczesny specjalista od „ogrodowej” architektury) w podobnym czasie również projektował Pomarańczarnię. Jego projekty bardzo różniły się od planów Merliniego. Zawierały bardziej skomplikowane formy, teatr miał być pośrodku, a oranżerie na skrzydłach. Dopiero po dziesięciu latach rozpoczęto budowę. Wybrano projekt Merliniego i to on został budowniczym Pomarańczarni i teatru. Budowa trwała dwa lata. Efekt najbardziej przypominał trzeci projekt. Podczas budowy zmieniono formy architektoniczne na prostsze i surowsze. Dekoracje projektował Jan Chrystian Kamsetzer. W jednym swoim projekcie zagospodarował górną ścianę malowidłem pejzażowym z krajobrazem włoskim i ruinami antycznymi.