Potomkowie Heroda Wielkiego zostali jednak władcami Judei do 96 roku.
Według spisanej tradycji chrześcijańskiej i tekstów historycznych, podczas panowania jednego z jego synów, Heroda Antypasa, gdy rzymskim prefektem Judei był Poncjusz Piłat, w Jerozolimie uwięziono podczas żydowskiego święta Pesach Jezusa z Nazaretu, którego następnie ukrzyżowano. Miejsce ukrzyżowania i przypuszczalny grób Chrystusa do dzisiaj otaczane czcią są przez chrześcijan na terenie Starego Miasta.
mały|David Roberts, Zburzenie Jerozolimy przez Rzymian w 70 roku, 1850 Panowanie Rzymian nad Judeą zostało poddane próbie podczas wojen żydowskich. W maju 66 XII legion rzymski dowodzony przez Wespazjana przystąpił do tłumienia powstania żydowskiego. Kulminacyjnym momentem walk było oblężenie Jerozolimy w 70 (miasto padło 8 września 70). Całe miasto wraz ze Świątynią zostało zburzone. W 132 rzymski cesarz Hadrian postanowił odbudować Jerozolimę jako miasto hellenistyczne ze świątynią Jowisza i nazwą Colonia Aelia Capitolina.
W IV wieku cesarz Konstantyn I Wielki wybudował w mieście liczne obiekty kultu chrześcijańskiego, w tym bazylikę Grobu Świętego. Od tego czasu aż do VII wieku Żydzi nie mieli prawa wstępu do Jerozolimy.