W 1963 r. Smith przeniósł się do wytwórni Verve Records, gdzie zajął uprzywilejowaną pozycję. Dla firmy Normana Granza nagrał takie standardy jak Walk On The Wild Side, Hobo Flats czy Who's Afraid Of Virginia Woolf. Jazzowe przeboje Smitha zwracały uwagę świetnymi aranżacjami orkiestrowymi autorstwa Olivera Nelsona (które w pewnym stopniu tłumiły brzmienie Smitha). Kolejne szlagiery to The Cat, The Organ Grinder's Swing i Got My Mojo Working z chrapliwym głosem Smitha.
W latach 1963–66 muzyk umieścił na listach bestsellerów dwanaście albumów. Popularność Smitha miała ścisły związek z ogromnym zainteresowaniem w latach 60. stylistyką rhythm and bluesa. W 1966 r. sporą popularnością cieszyły się dwa albumy nagrane wraz z Wesem Montgomerym (Jimmy & Wes The Dynamic Duo oraz Further Adventures Of Jimmy And Wes). Z końcem lat 60. Smith coraz częściej tworzy muzykę środka, w latach 70. zaś skłonił się ku mieszance soulu i funky (sporadycznie używał wtedy elektronicznego syntezatora). Przez wiele lat organowy jazz pozostawał w stagnacji i chociaż Smith był jego czołowym przedstawicielem, to stał się z czasem liderem niemodnego stylu.
Po serii mało znaczących nagrań, w 1982 r.