Swój pierwszy zespół, Paris Valentinos, założył w wieku 13 lat wspólnie z Andym Rourke’iem, który chodził do tej samej szkoły średniej co Duffy i Kevinem Williamsem, późniejszym aktorem znanym jako . Wystąpili po raz pierwszy na imprezie jubileuszowej w w czerwcu 1977 roku, grając covery The Rolling Stones i Thin Lizzy.
W 1979 roku zagrał pojedynczy koncert w Wythenshawe Forum z zespołem Sister Ray i ponownie połączył siły z Rourke’iem w grupie White Dice. Zespół ten wziął udział w konkursie na kasety demo organizowanym przez NME i wygrał przesłuchanie do , w którym wziął udział w kwietniu 1980 roku, lecz ostatecznie nie podpisano z nimi kontraktu. Około 14. roku życia zaczął pisać swoje nazwisko jako „Marr”, aby uprościć wymowę tym, którzy mieli trudności z wymówieniem jego imienia „Maher” i by uniknąć pomyłek z perkusistą Buzzcocks, .
W październiku 1980 roku Marr zapisał się do i został przewodniczącym tamtejszego Związku Studentów. Zespół White Dice rozpadł się w 1981 roku, po czym Marr i Rourke założyli funkowy zespół Freak Party z na perkusji. Mniej więcej w tym samym czasie Marr poznał , z którym później współpracował.