Kolebka Żywca to wzgórze Grojec (612 m n.p.m.), które zostało zasiedlone w czasach starożytnych przez Celtów. Istniała na nim wczesnośredniowieczna warownia. Na początku XV w. została ona przekształcona w zameczek myśliwski rozbójniczej rodziny Skrzyńskich herbu Łabędź. W 1462 r. zameczek został zniszczony przez wojska Kazimierza Jagiellończyka. Historycznie miejscowość była częścią księstwa oświęcimskiego.
Żywiec powstał na przełomie XIII i XIV w. Najstarsze wzmianki związane są z miejscową parafią katolicką. Pierwsza wzmianka o niej pochodzi z 1308 r. Po raz kolejny wzmiankowana została w spisie świętopietrza parafii dekanatu Oświęcim diecezji krakowskiej z 1326 r. pod nazwą Zivicz. Ówczesny Żywiec, będący częścią najpierw księstwa cieszyńskiego, a od 1315/1316 księstwa oświęcimskiego, znajdował się w nieco innym miejscu – na terenie późniejszej wioski Stary Żywiec, zalanej w roku 1966 wodami Jeziora Żywieckiego. W 1327 książę Jan I Scholastyk oddał księstwo oświęcimskie w lenno Królestwu Czech, a w towarzyszącym dokumencie z dnia 24 lutego wymieniono również miasteczko (oppidum) Żywiec (Zipscha). thumb|Rynek w Żywcu Żywiec po raz kolejny wymieniony został w łacińskim dokumencie lennym wystawionym 24 lutego 1327 r. w Bytomiu jako miejscowość lokowana na prawie polskim iure polonico w zlatynizowanej formie Zipscha.