Murray uczestniczył w nagraniach Taylora, a w 1962 odbył z jego triem trasę po Skandynawii; podczas pobytu w kopenhaskim Café Montmartre powstał materiał wydany później na albumie Nefertiti, the Beautiful One Has Come.

Podczas tej trasy poznał Alberta Aylera, z którym od końca 1963 współpracował przez około trzy lata. W 1964 uczestniczył w nagraniu albumu Spiritual Unity, na którym jego gra współtworzyła swobodną, pozbawioną konwencjonalnej sekcji rytmicznej przestrzeń dla saksofonu Aylera i kontrabasu Gary’ego Peacocka. Grał również na innych nagraniach Aylera z połowy lat 60., w tym Spirits Rejoice i Bells. W lutym 1964 zastąpił J.C. Mosesa podczas ostatniej sesji krótkotrwałego zespołu , tworząc sekcję rytmiczną z kontrabasistą .

Jako lider zadebiutował albumem Sonny’s Time Now, nagranym w 1965 z udziałem między innymi Aylera, Dona Cherry’ego i Henry’ego Grimesa. Rok później ukazał się album Sunny Murray; w następnych latach Murray coraz częściej występował i nagrywał pod własnym nazwiskiem. W 1968 przeniósł się do Paryża, gdzie działał jako bandlider oraz współpracował między innymi z Grachanem Moncurem III, Archie’em Sheppem, , i .