Podczas pobytu w Żywcu w 1669 król Jan II Kazimierz Waza zapadł na chorobę oczu, z której miał zostać uzdrowiony dzięki wodzie ze źródła św. Wita. Przy źródle w 1669 na rozkaz króla została wzniesiona drewniana kaplica św. Wita. Nie zostały zachowane informacje o dokładnym wyglądzie obiektu. W 1702 na ścianach kaplicy umieszczone zostały dwie drewniane tablice zawierające treści wierszy na temat źródła oraz jego patrona autorstwa Andrzeja Komonieckiego.
Wielokrotnie remontowana drewniana kaplica uległa zawaleniu. W jej miejscu w 1869 powstała nowa, neogotycka kaplica murowana, wybudowana według projektu Karola Pietschki, co nastąpiło na polecenie Albrechta Fryderyka Habsburga w związku z prośbami mieszkańców. Prowadzone tu były m.in. śluby oraz pogrzeby.
Kaplica była często odwiedzana przez okolicznych mieszkańców, co wynikało z uznawania przez nich wody z tutejszego źródła za posiadającą cudowne właściwości. Miała ona leczyć choroby oczu, skóry oraz inne dolegliwości przewlekłe.
Przedstawienie kaplicy było elementem pieczęci gminy Stary Żywiec, wykorzystywanej od lat 80. XIX wieku do 1929.