Po podziale Cesarstwa rzymskiego (395 r.) miasto znalazło się w Bizancjum.
Wojny rzymsko-perskie Na przestrzeni kolejnych dziesięcioleci Jerozolima przeszła pod panowanie Persji, a następnie ponownie wróciła do Rzymian. Perski władca Chosrow II Parwiz na początku VII wieku zajął Syrię i Judeę z miastem Jerozolimą, nazwaną przez Persów Dej Houdkh. Jerozolima została zdobyta w 614 po 21 dniach oblężenia. Żydowscy bojownicy dołączyli do Persów walcząc przeciwko chrześcijanom. Miasto zostało odzyskane przez Bizancjum w 629.
Panowanie muzułmanów