W tym czasie definitywnie rozpadło się jego pierwsze małżeństwo, a Mariano związał się ze studentką Berklee – japońską pianistką Toshiko Akiyoshi (wzięli ślub w listopadzie 1959). Jeszcze w tym samym roku wyjechali razem do Los Angeles, gdzie Mariano miał grać na saksofonie tenorowym w zespole Stana Kentona. Po roku zdecydowali się na wyjazd do Nowego Jorku i założenie własnej grupy. Był to kwartet z Gene’em Cherico na basie i perkusistą Eddim Marshallem (a później Albertem „Tootie” Heathem). Grali w popularnych klubach Nowego Jorku, a pod koniec 1960 roku nagrali płytę Toshiko Mariano Quartet (Candid). Potem wyruszyli w długą trasę po Kanadzie, Meksyku i Japonii, po której rozwiązali zespół, realizując oddzielne projekty.
W ciągu kolejnych lat Mariano występował z wieloma znanymi muzykami, takimi jak Charlie Parker, Dizzy Gillespie czy McCoy Tyner. Wysoko oceniona została również jego gra z Charlesem Mingusem zarejestrowana na albumach Mingus Mingus Mingus Mingus Mingus i The Black Saint and the Sinner Lady (1963). W 1963 pojawił się też na albumie Live at Newport (Impulse!) będącym zapisem występu lidera i zespołu (Charlie Mariano, trębacz Clark Terry, basista Bob Cranshaw i perkusista Mickey Roker) na Newport Jazz Festival.