Na tym wzgórzu Koryciński postanowił ufundować klasztor i kościół, wzorowany na włoskiej pustelni. W realizacji projektu pomagali Piotr z Poznania zwany Poznańskim oraz Krzysztof Scipio del Campo. Jeszcze w tym samym roku stanął drewniany klasztor i kaplica. W dziewięć lat później zbudowano murowaną zakrystię, a 3 lutego 1627 r. spisano akt erekcyjny. Następnie powstał drewniany kościół pw. Stygmatów św. Franciszka, który miał dwa boczne ołtarze i istniał do 1661 r. Murowany klasztor rozpoczęto budować w 1625 r., a w pięć lat później murowany kościół wybudowany staraniem syna założyciela Alwerni, Jana Stanisława Korycińskiego. Poświęcenie kościoła przez biskupa krakowskiego Andrzeja Trzebickiego nastąpiło dopiero w 1660 r., a 16 maja 1667 został konsekrowany.
Klasztor w Alwerni posiada zabytki, wśród nich obraz Ecce Homo. Umieszczono go w kościele w 1686 r. W latach 1703–1708 dobudowano dla obrazu specjalną kaplicę.
Historia obrazu jest opisana przez Stanisława Polaczka w Monografii Powiatu Chrzanowskiego:
Po wygaśnięciu rodu Korycińskich, Alwernia przeszła wraz z obszarem dworskim – Porębą Żegoty – w dziedzictwo Schwarzenbergów-Czernych, a od nich nabyli te dobra w XVIII w. Szembekowie. Byli oni właścicielami tych dóbr do początku XX w.