Jemenin alueella sijaitsi ensimmäisellä vuosituhannella ennen ajanlaskun alkua useita kaupunkivaltioita. Voimakkaimmaksi näistä nousi Saba, jonka menestys perustui Maribin patoon perustuvaan kastelujärjestelmään. Saban kukoistus kesti usean vuosisadan ajan. Jemenin alue islamilaistui 600-luvulla ja Jemenin alueella valta-asemaan nousi zaidilainen islamin tulkinta. Islamilaiset dynastiat hallitsivat aluetta aina 1500-luvulle asti, jollon osmanit valloittivat alueen Osmanivallan aikana Jemenin alueesta muodostui merkittävä kahvikaupan keskus. Tämän myötä myös eurooppalaisvallat pyrkivät saamaan osuutensa alueen kahvikaupasta. Osmanit karkotettiin Jemenistä zaidilaisen imaamin johdolla 1600-luvulla.
1800-luvulla Britannia valtasi Adenin tukikohdakseen ja osmanit valtasivat uudelleen Jemenin pohjoisosan. Tästä alkoi prosessi, joka tuli jakamaan maan brittiläisten hallitsemaan Etelä-Jemeniin ja osmanien hallitsemaan Pohjois-Jemeniin. Ensimmäisen maailmansodan jälkeen Osmanien valtakunta romahti ja Jemenin kuningaskunta itsenäistyi zaidilaisen imaamin Yahya Muhammad Hamid ad-Dinin johdolla. Pohjois-Jemen ajautui sisällissotaan 1960-luvulla, minkä seurauksena imaami syrjäytettiin ja perustettiin Jemenin arabitasavalta.
Tasavallan perustaminen Pohjois-Jemeniin sai aikaan itsenäistymisvaatimuksia myös Etelä-Jemenissä. Etelä-Jemenin kansantasavalta itsenäistyi vuonna 1967. Köyhä maa oli altis kommunismin kasvavalle suosiolle. Etelä-Jemenistä tuli Neuvostoliiton liittolainen ja se nimettiin uudelleen Jemenin demokraattiseksi kansantasavallaksi.
Etelä-Jemen ja Pohjois-Jemen olivat poliittisesti eripuraisia, mutta 1980-luvulla niiden suhteet alkoivat lähentyä. Poliittiset ja taloudelliset tekijät johtivat siihen että maiden johtajat päättivät maiden yhdistämisestä, joka toteutui vuonna 1990. Vasta yhdistynyt Jemen ajautui Jemenin sisällissotaan vuonna 1994. Maa on yhdistymisestään lähtien kärsinyt levottomuuksista ja vuonna 2015 syttynyt sisällissota on aiheuttanut maassa vakavan humanitäärisen kriisin.
Varhaishistoria Jemen on yksi Lähi-idän vanhimmista asutuskeskuksista. Sen alueelle kehittyi seemiläisten kansojen maata viljeleviä yhdyskuntia arviolta 2000 eaa. Jemen sijaitsi jo varhain merkittävien kauppareittien varrella, minkä ansiosta alueelle syntyi vauraita kaupunkeja. Alueella vaikutti tällä aikakaudella voimakkaita ja vauraita kaupunkivaltioita, joiden vauraus perustui suurelta osin heidän hallitsemansa maan suitsukkeiden ja mirhan tuotannosta. Nämä olivat kaksi antiikin maailman arvostetuinta hyödykettä. Kauppareitistä käytettiin nimitystä suitsuketie. Vastaavasti nykyisen Jemenin aluelle tuotiin Etelä-Aasiasta erilaisia mausteita ja Itä-Afrikasta norsunluuta ja strutsinsulkia.
800 eaa. – 500 jaa. välisenä aikana Jemenissä vaikuttivat Minaeanin, Saban, Himyarin, Qatabanin, Hadramautin ja Ausanin kuningaskunnat, jotka ylläpitivät tuottoisaa maustekauppaa. thumb|right|Nykyisen Jemenin alue noin vuonna 230. Aksum, Himyar, Qataban, Saba ja Hadramaut merkitty eri väreillä. thumb|right|Maribin padon rauniot ovat nykyisin Unescon maailmanperintökohde. Voimakkaimmaksi näistä nousi Saban kuningaskunta, jonka menestys mainitaan sekä Raamatussa että Koraanissa. Sen maine perustuu monimutkaiseen kastelujärjestelmään, jonka keskiössä oli Maribin pato. Sen rauniot ovat edelleen nähtävissä. Arkeologit ja kielitieteilijät uskovat, että kastelu on alkanut jo 2000-luvulla eaa., paljon ennen sabalaisten aikaa. Suuri Maribin pato rakennettiin noin 700-luvulla eaa., vaikka pienempiä patoja saattoi olla olemassa aiemminkin. Padon ansiosta satunnaisten rankkasateiden aiheuttamien tulvien vesi saatiin talteen Maribin takana sijaitsevilta vuorilta.
Kerätty vesi jaettiin kanavien kautta kastelemaan maatalouskompleksia, joka saattoi ylläpitää suurta sivilisaatiota. Sen väkiluku oli enimmillään noin 300 000 henkeä. Nykyisin Maribin alueella asuu noin 20 000 asukasta. Sabalaisella sivilisaatiolla oli vahvat instituutiot ja sen hallinto kesti vuosisatoja. Toisinaan naapurivaltakunnat, Minaean pohjoisessa, Hadramaut idässä ja Himyar lännessä, yrittivät haastaa Saban mahdin, mutta Saba säilyi alueen voimakkaimpana valtakuntana 100-luvulle jaa.
Muinaisen Jemenin alueen valtakunnat tunnettiin muinaisessa Välimeren maailmassa. Roomalaiset kutsuivat aluetta nimellä ”Arabia Felix” (”Onnellinen Arabia”) maustekaupan tuottaman vaurauden vuoksi. Rooman keisari Augustus lähetti vuonna 26 eaa. retkikunnan valtaamaan Arabia Felixin ja turvaamaan alueen kaupan Roomalle. Egyptin prefektin Aelius Galluksen komentama retkikunta kuitenkin epäonnistui.
Roomalaisten vaikutus Punaisella merellä kasvoi ensimmäisellä vuosisadalla jaa. Heidän merenkulkutaitonsa myötä he pääsivät luksushyödykkeiden perässä suoraan Etelä-Aasian ja Itä-Afrikan satamiin, eikä nykyisen Jemenin aluetta ollut enää tarve käyttää kauttakulkupaikkana. Tämän myötä alue ajautui vähitellen taantumaan, ja laajojen kaupunkien ylläpito kävi mahdottomaksi. Myös intialaiset merenkävijät oppivat hyödyntämään monsuunituulia, mikä avasi vaihtoehtoisen merireitin Levantin alueelle, jolloin voitiin välttää pitkä ja vaivalloinen suitsuketie. Tämä sai Jemenin alueen väestön siirtymään länteen päin kauppareittien siirtyessä. Myös suitsukkeiden käyttö väheni. Tämä johtui roomalaisten rituaalien vähenemisestä, sillä kristinuskossa näitä tapoja pidettiin pakanallisina. Näistä syistä Saban kuningaskunnan merkitys väheni, ja Himyarin kuningaskunta alkoi kohota alueen voimakkaimmaksi mahdiksi.
Lopullinen kuolinisku Maribin alueen sivilisaatiolle oli Maribin padon tuhotuminen 500-luvulla. Romahtaminen johtui luultavasti ylläpidon laiminlyönnistä ja sedimenttien kertymisestä patoaltaaseen. Tuhon syyksi on esitetty myös maanjäristystä. Joka tapauksessa padon romahdus päätti Saban kuningaskunnan menestyksen ajan. Tulvavedet veivät pois suuren osan Saban fyysisistä todisteista.
Himyarin kuningaskunnan pääkaupunki oli Zafar, lähellä nykyistä Yarimin kaupunkia. Himyarin hallitsijat yhdistivät menestyksekkäästi alueen aavikko- ja vuoristoheimot. Nykyään jemeniläiset historioitsijat pitävät tätä aikakautta modernin Jemenin alkuna. Tänä aikana alueella kasvoivat ulkoiset vaikutteet, pääasiassa kristinuskon ja juutalaisuuden johdosta. Viimeinen Himyar-kuningas Dhu Nuwas kääntyi juutalaiseksi ja hän toimeenpani alueella kristittyjen joukkomurhan. Tämä teko koitui lopulta hänen kohtalokseen, sillä vainoista selviytyneet pyysivät apua Bysantin keisarilta. Tämä järjesti armeijan Punaisen meren toiselta puolelta Aksumin valtakunnasta kristittyjen tueksi. Aksumin armeija hyökkäsi Himyarin valtakuntaan ja suoritti juutalaisten verilöylyn. Dhu Nuwas surmattiin ja Himyar tuhoutui. Aksumin kuningas Abraha, otti alueen omaan hallintaansa. Hän pyrki laajentamaan valtaansa yhä pohjoisemmaksi, mutta valloitusyritys epäonnistui. Koraani kertoo, että Abrahan armeija piiritti Mekkaa, mutta Jumalan avulla valloitusyritys epäonnistui.
Abrahan joukkojen valloittama Himyarin kuningaskunta liittoutui Persiaa hallinneen Sassanididynastian hallitsijan, Khusrau I:n kanssa aksumilaisten pois ajamiseksi. Suuri sassanidiarmeija ajoi aksumilaiset pois ja Sassanidit valloittivat Jemenin ja alkoivat hallita sitä valtakuntaansa kuuluvana satraappina.
Islamin tulo Islam levisi Jemenin alueella helposti ja nopeasti. Tätä edesauttoivat vuosisadan mittaiden talouden taantuma, sekä juutalaisten ja kristittyjen toimeenpanemat julmuudet. Jemenin viimeinen persialainen satraappi kääntyi islamiin ilmeisesti vuonna 628 ja hyväksyi muslimiyhteisön poliittisen vallan. Jemenin kaksi kuuluisinta moskeijaa, Sanaassa sijaitseva suurmoskeija ja lähellä Taizia sijaitseva Al-Janadin moskeija, ovat peräisin tältä ajalta. Nämä ovat yksi varhaisimmista islamilaisen arkkitehtuurin jäänteistä.
Profeetta Muhammadin seuraaja kalifi Abu Bakr, onnistui yhdistämään Arabian niemimaan yhden hallitsijan alaisuuteen ja alueesta tuli osa Umaijadien kalifaattia. Alue sai tuolloin nimensä Jemen, joka tarkoittaa ”oikeaa puolta”, mikä viittaa alueen sijaintiin Mekkaan nähden. Jemenin alue oli kuitenkin kalifaatille hankalasti hallittava. Usein kun kalifi lähetti edustajansa tukahduttamaan kapinoita, perusti edustaja alueelle oman dynastiansa. 800-luvulla sai alkunsa Ziyadidien dynastia, joka perusti pääkaupunkinsa Zabidiin.
Jemenin historian kannalta merkittävin tapahtuma islamilaistumisen jälkeen oli kuitenkin zaidilaisuuden juurtuminen alueelle. Zaidilaiset olivat šiialainen lahko, joka hyväksyi Zaid ibn Alin, Muhammedin suoran jälkeläisen, tämän viimeiseksi lailliseksi seuraajaksi. Suurin osa Jemenin kulttuurista ja sivilisaatiosta kannatti seuraavan 1000 vuoden ajan zaidilaisuutta. Ajanjakso oli myös sarja ryhmittymiä, dynastisia, paikallisia ja keisarillisia hallitsijoita, jotka kilpailivat toisiaan ja zaidilaisia vastaan alueen hallinnasta. Voimakkaita dynastioita olivat Sulayhidit ja Fatimidit, jotka olivat ismailiitteja. Aijubidit ja Rasulidit taas kuuluivat sunnalaisiin hallitsijoihin. Rasulidien pitkä valtakausi 1200–1400-luvulla vakiinnutti sunnalaisuuden Etelä- ja Länsi-Jemenissä. Rasulidien valtakautta seurasi Tahiridien valtakausi. He hallitsivat aina 1500-luvun osmanivalloituksiin asti.
Kahvikaupan keskus Ulkovaltojen kiinnostus Jemenin aluetta kohtaan nousi 1400-luvun alussa, jolloin erään kertomuksen mukaan suufilainen uskonnollinen johtaja löysi kahvista sen virkistävät ominaisuudet. Tämän seurauksena Jemenin ja Punaisen meren alueesta tuli konfliktien areena egyptiläisten, osmanien ja useiden eurooppalaisvaltojen välillä, näiden etsiessä Arabiankahvin lähteitä. Kilpailu suuntautui pian myös idemmäs, Aasian maustekauppamarkkinoille, ja Jemenin alue joutui osaksi ulkovaltojen kiistoja.
1500-luvun alussa portugalilaiset valtasivat tukikohdakseen Jemenin edustalla sijainneen Sokotran saaren, ja yrittivät ottaa haltuunsa myös Adenin, mutta valloitusyritys epäonnistui. Portugalilaisten jälkeen Egyptiä hallinnut mamelukkidynastia yrittivät myös tuloksetta Adenin valtausta, mutta Sanaa jäi egyptiläisten valtaan. Osmanien valtakunta valloitti Egyptin vuonna 1517 ja vuonna 1538 he alistivat suurimman osan Jemenin alueesta hallintaansa. Todellista valtaa alueella käyttivät tällöinkin paikalliset imaamit. Osmanivallan aikana Jemenin merkitys kahvikaupan keskuksena vahvistui ja Mokkan rannikkokaupungista tuli kansainvälisesti merkittävä kahvisatama. Tästä huolimatta Jemenin ylängöt pysyivät taloudellisesti ja kulttuurisesti eristyksissä ulkomaailmasta 1600-luvun puolivälistä lähes 1800-luvun puoliväliin. Osmanit karkotettiin Jemenistä zaidilaisen imamaatin johdolla. Tämän valtakausi kesti Jemenissä pitkään ja se yhdisti ja vahvisti jemeniläistä identiteettiä.
1700-luvun alkuun mennessä Euroopan ja Aasian välinen suosituin reitti kulki Afrikan ympäri, ja ulkovallat menettivät kiinnostuksensa Jemenin aluetta kohtaan. Tänä aikana myös kahvintuotanto siirrettiin tuottavammille seuduille. Jemenin alueen merkittävät kahvikaupan keskukset Aden ja Mokka, kutistuivat muutaman sadan asukkaan kyliksi.
Kansainvälisten kauppareittien ulkopuolella, Hadramautin ylänköalueella, kukoisti omanlaisensa erityinen kulttuuri. Aluetta asutti hadramien heimo, jonka kulttuuri, toisin kuin Sabassa, säilyi läpi vuosisatojen, koska keitaat auttoivat ylläpitämään elämää. Alueen asukkaat ovat pysyneet suurelta osin riippumattomina muusta Jemenistä. Alue on enemmän tai vähemmän omavarainen, mutta koska alue on tarjonnut vain vähän tilaa laajentumiselle, on alueelta muutettu historian saatossa useasti muualle. Etenkin eurooppalaisten harjoittaman merikaupan myötä hadrameita muutti 1700-1800 -lukujen aikana runsaasti nykyisten Intian, Malesian, Singaporen ja Indonesian alueille.