Wizja belwederu na wzgórzu odżyła wraz ze wstąpieniem na tron Fryderyka Wilhelma IV. Już w 1817 teren wzgórza przeszedł w ręce króla, a samo wzniesienie otrzymało nową nazwę Pfingstenberg. Fryderyk Wilhelm IV osobiście sporządził szkice nowej budowli. Wzorował się przy tym na architekturze włoskiego renesansu. Szczególną inspiracją była willa Casino Caprarola z 1585, którą król oglądał podczas swojej pierwszej wyprawy do Włoch. Fryderyk wiernie skopiował budowlę, dodając jedynie element z parą wież, który jako jedyny z całego projektu został zrealizowany. Budowę prowadzili architekci Persius, Stüler i Hesse.
W pierwszej fazie budowy (1847-1852) powstała fasada z dwiema 25m wieżami, wolno stojące schody oraz boczne perystazy otaczające dziedziniec ze zbiornikiem wodnym. Rezerwuar jest po dziś dzień zasilany przez pompownię Meierei w Nowym Ogrodzie i służy jako zbiornik wodny dla wodotrysków w Nowym Ogrodzie. Budowla skrywa dwa gabinety tematyczne używane jako herbaciarnie: gabinet mauryjski (Carla von Diebitscha) z kolorowymi, glazurowanymi, częściowo złoconymi kaflami na ścianach oraz gabinet rzymski, którego ściany zdobią łabędzie, skrzydlate lwy i inne figury zwierzęce na czerwonym tle. Kabinety są połączone przejściem arkadowym.