Wkrótce rezygnowali z ofiarowanych im przez króla terenów, gdyż zgromadzone środki finansowe okazały się niewystarczające.
7 października 1825 tereny te przejął w wieczystą dzierżawę kapitan saperów Wojska Polskiego Stanisław Śleszyński, który okazał się obrotnym przedsiębiorcą. Jak głosiła plotka, odkrył pozostawione przez bazylianów znacznych rozmiarów składowisko wapna, a fundusze otrzymane z jego sprzedaży przeznaczył na budowę pałacyku i ogrodu „fruktowego”. Do budowy przystąpił w 1826 wraz z żoną Gertrudą Emilią z Jakubowskich i Józefem Foxem. Projektantem piętrowego pałacyku z portykiem i kolumnadą był Antonio Corazzi. Działka zajmowała wówczas ok. 4,5 ha.
Dla publiczności ogród otworzono w 1827. Śleszyński urządził teren jako park publiczny z licznymi pawilonami kawiarnianymi w stylu „architektury szwajcarskiej”.
Badacze do dziś nie ustalili pochodzenia nazwy Doliny Szwajcarskiej, być może wzięła się ona od wzniesionych tu drewnianych altan w stylu szwajcarskim. Właściciel odnajmował je handlarzom piwa i cukrów oraz kiełbaśnikom. Z czasem ogród w dolinie ozdobiły starannie wytyczone ścieżki oraz klomby kwiatowe. Latem spacerowiczom przygrywała orkiestra.