W październiku 1961 r. Allen poznał w Paryżu amerykańskiego perkusistę George’a Neidorfa, z którym przybył do Wellington House, w którym Neidorf także zamieszkał. Aby się odwdzięczyć zaczął uczyć Roberta gry na perkusji. Robert stał się już multiinstrumentalistą; grał na perkusji, instrumentach klawiszowych i dętych – głównie trąbce.
Chociaż Robert, dzięki bardzo dobrze zdawanym egzaminom, miał otwartą karierę uniwersyteckąIbid. Str. 41, postanowił pójść zupełnie inną drogą. W Boże Narodzenie 1961 r. opuścił szkołę i wyruszył z Neidorfem i jego przyszłą żoną Pry Phippard (byłą dziewczyną Allena) w planowaną na dwuletnią wędrówkę. Zwiedzili Francję, Hiszpanię i przybyli na Majorkę. Robert Graves – sam wielki miłośnik nowego jazzu – pochwalił jego rezygnację z kariery akademickiej i zamiar zostania perkusistą. Pasierb Gravesa Ramon Farran także uczył go gry na perkusji. Eksperymentowali z różnymi formami muzycznymi, a Robert zaczął także pisać i rzeźbić. Wszyscy wybudowali w ogrodzie Gravesa amfiteatr dla pisarzaIbid. Str. 44.