Po ukończeniu szkoły średniej przeniósł się do Oakland w Kalifornii. Tam zamieszkał u krewnych i zaczął uczęszczać do Oakland Junior College, gdzie krótko studiował muzykę i sztukę. W regionie San Francisco Bay Area znany pod pseudonimem „Little Rock”, grał bebop, rhythm and blues i jazz, występując z takimi muzykami, jak m.in. saksofoniści Dewey Redman i Sonny Simmons, pianista Ed Kelly bądź perkusista Smiley Winters.
W roku 1961 udał się do Nowego Jorku, gdzie, nie mając środków do życia, początkowo żył w skrajnej nędzy. Kilkakrotnie zastawiał saksofon, podejmował prace niezwiązane z muzyką, chodził w postrzępionych ubraniach i nierzadko sypiał w korytarzach metra. Wkrótce zaczął grywać z doborowymi muzykami, wśród których znajdowali się m.in. związani z free jazzem i awangardą jazzową perkusista Billy Higgins, trębacz Don Cherry i Sun Ra. Z prowadzoną przez tego ostatniego Arkestrą zaczął występować w około rok od przybycia do Nowego Jorku. Grając z zespołem Sun Ra, Sanders porzucił swoje imię, Ferrell (względnie Farrell), na rzecz pseudonimu scenicznego „Pharoah”, kojarzącego się z angielskim wyrazem pharaoh, czyli „faraon” (pod tytułem Pharaoh ukazała się potem pierwsza płyta saksofonisty, który podpisany był na niej jako „Pharaoh Sanders”).