16 czerwca 1964 roku "Roy Black and His Cannons" wygrał konkurs talentów na balu studentów w Augsburger Moritzsaal.
Zespół po osiągnięciu lokalnej sławy dostał propozycję kontraktu z Polydor Records, którego producentem był Hans Bertram. Roy Black porzucił studia zarządzania biznesem w Monachium, by skoncentrować się na muzyce. Dwa pierwsze single "Roy Black and His Cannons", "Sweet Baby mein" i "Darling my Love" nie odniosły większych sukcesów, natomiast trzeci singel "Du bist nicht allein" odniósł sukces komercyjny. Singel ten osiągnął Top 10 zimą 1965 roku na niemieckiej liście przebojów. Awansował na czwarte miejsce za Satisfaction The Rolling Stones, Mr. Tambourine Man The Byrds i Balla Balla Rainbows.
Do końca 1967 roku, jego singel "Ganz in Weiß" wydany w 1966 roku, został sprzedany w ponad milionie egzemplarzy, a w latach 1969–1970 piosenka "Dein schönstes Geschenk" sprzedała się w kilku milionach egzemplarzy i przez dziewięć tygodni zajmowała 1. miejsce na liście przebojów w Niemczech. Od 1967 roku Black brał również udział w kilku musicalach komediowych, m.in. w 1969 roku w "Hilfe, Ich liebe Zwillinge" (Help, I Love Twins) u boku Uschi Glas.