Nazwa kameduli pochodzi od Camaldoli, nieopodal Arezzo w Toskanii, w której w 1012 powstał pierwszy klasztor zakonników reguły św. Benedykta – kamedułów. W 1072 podzielili się oni na konwentualnych (cenobitów) i obserwantów (eremitów).
Kameduli po przybyciu do Krakowa wybrali górę bielańską, która należała wówczas do kasztelana wojnickiego Sebastiana Lubomirskiego, a ten nie chciał góry odsprzedać. Wolski zaprosił Lubomirskiego na ucztę, podczas której, wobec licznie zgromadzonych panów, zwierzył się publicznie ze swoich kłopotów, związanych z budową eremu. Lubomirski rad nie rad podpisał podsunięty mu dokument o darowaniu góry i wsi kamedułom. Z kolei Wolski, wśród wielkich owacji, podarował w zamian Lubomirskiemu wielką ilość srebrnych naczyń. Stąd też pochodzi nazwa: Srebrna Góra. Nazwa Bielany wzięła początek od białych habitów mnichów. Mikołaj Wolski został pochowany przy wielkich drzwiach kościoła. W klasztorze zachował się portret Wolskiego, w czarnym stroju, przypisywany o. Wenantemu.
Aby zbudować kościół i erem na tak wysokiej górze, stawiono na skale sklepienie i dopiero nad czwartą kondygnacją sypano ziemię. Cała budowa miała kosztować 500 tys. zł, co było wtedy ogromną sumą.