W XIV w. został tu zbudowany Kościół św. Krzyża. W okresie około 1425–1428 Żywiec pozostawał zajęty przez wojska husyckie, a świątynia ta została przekształcona w kościół w husycki. Po opuszczeniu przez nich miasta w 1428 został on ponownie poświęcony jako rzymskokatolicki. Wokół obiektu został założony cmentarz, na którym w XVII wieku miały miejsce pochówki przestępców zabitych poprzez ścięcie, ostatni z nich miał miejsce w 1624.
Na północ od kościoła zlokalizowana była centralna część osiedla, przez którą przebiegały trzy trakty. Pierwszy z nich wiódł na północ przez Stary Żywiec w kierunku Oświęcimia, współcześnie stanowiąc ul. Świętokrzyską, kolejny prowadził w kierunku południowo-zachodnim i utworzył obecną ul. Stefana Batorego, biegnąc następnie wzdłuż doliny Soły przez Przełęcz Jabłonkowską na Morawy, natomiast trzecia droga wiodła na południowy wschód, następnie przez współczesne ulice Kościuszki i Komorowskich oraz dolinę Koszarawy w stronę Orawy i Węgier. Początkowo ulice Rudzy nie posiadały nazw, później wykształciły się ulice takie jak Rudza (wytyczona w 1627, również pod nazwą Rudza Solna), Paniowska i Świetokrzyska.