Gdy Miles Davis zaproponował mu pracę, postanowił pozostać w Wielkim Jabłku. Przy okazji Davis powiedział mu: „Przestań grać jak J.J. Daj spokój z tym gównem. Graj swój szajs.” Występując w jego zespole poznał dwóch ważnych dla siebie ludzi: Johna Coltrane’a, z którym się zaprzyjaźnił, oraz Alfreda Liona, współzałożyciela wytwórni Blue Note Records. Usłyszawszy go na estradzie, producent zaproponował mu dokonanie nagrań jako liderowi. Później pracował u niego także jako muzyk studyjny uczestnicząc m.in. w nagraniu słynnego albumu Coltrane’a Blue Train. Był jedynym puzonistą, z którym nagrywali Coltrane i pianista Bud Powell.

W 1961 został członkiem formacji The Jazztet, założonej przez trębacza Arta Farmera i saksofonistę Benny’ego Golsona. Pozostał w niej do 1961. W czerwcu tego roku przeszedł do The Jazz Messengers Arta Blakeya. Kiedy bez uprzedzenia wybrał się na tournée koncertowe Departamentu Stanu, niezadowolony Blakey uznał to jako urlop. Gdy jednak chciał pojechać w ramach tej samej trasy koncertowej do Rosji Sowieckiej, Blakey orzekł: „Jeśli pojedziesz, do cholery, to już nie wracaj. Jak chcesz grać z tymi skurwysynami, droga wolna!” Fuller mądrze zdecydował pozostać w zespole, w którym niebawem pojawili się trębacz Freddie Hubbard, pianista Cedar Walton i kontrabasista Reggie Workman.