Za rolę policyjnego badacza w serialu kryminalnym NBC Sensowne wątpliwości (Reasonable Doubts, 1991–1993) z Marlee Matlin był dwukrotnie nominowany do nagrody Złotego Globu dla najlepszego aktora w serialu dramatycznym. Potem był prywatnym detektywem w serialu ABC Charlie Grace (1995–1996) i lekarzem w serialu CBS Szpital Dobrej Nadziei (Chicago Hope, 1996–2000).
Był na okładkach „GQ” (w kwietniu 1987), „TV Guide” (w styczniu 2006, w listopadzie 2009, w maju 2014 i w marcu 2016), „Inland Empire” (w lipcu 2010) i „People” (w marcu 2019).
W maju 2002 wcielił się w rolę agenta specjalnego United States Secret Service Simona Donovana w czterech odcinkach serialu NBC Prezydencki poker (The West Wing), zdobywając nominację do nagrody Emmy, dokładnie 25 lat po jego pierwszej nominacji. Donald P. Bellisario, twórca JAG i Agenci NCIS, zobaczył go w Prezydenckim pokerze i Harmon w kwietniu 2003 wystąpił gościnnie w dwóch odcinkach serialu JAG – Wojskowe Biuro Śledcze, gdzie Harmon został po raz pierwszy przedstawiony jako postać agenta NCIS Leroy Jethro Gibbs. Od września Harmon wystąpił jako Gibbs w dramacie CBS Agenci NCIS, który przyniósł mu sześć nominacji do People’s Choice Award, w tym nagrodę dla ulubionego aktora kryminalnego TV w 2017.