31 października 1964 Dylan wykonał tę piosenkę podczas koncertu w Philharmonic Hall w Nowym Jorku; to nagranie ukazało się na The Bootleg Series Vol. 6: Bob Dylan Live 1964, Concert at Philharmonic Hall (2004). 1 sierpnia 1971 roku Dylan wystąpił podczas koncertu na rzecz Bangladeszu; utwór „Mr. Tambourine Man” wykonany został tylko w trakcie drugiego (nocnego) koncertu.
Dylan pisząc i komponując ten utwór czerpał inspirację z wielu różnych źródeł. Biograf Dylana, Robert Shelton, zacytował teorie sugerujące, że inspiracją artysty było wszystko od „radosnego zgiełku” czarnej muzyki gospel, poprzez pieśni Armii Zbawienia z ich rytmem podkreślanym tamburynem aż do poematu Williama Butlera Yeatsa Bizancjum (1930). Sam Dylan powiedział o inspiracji filmem La strada (1954) Federico Felliniego oraz wielkim tamburynem przyniesionym na sesję nagraniową przez gitarzystę i basistę Bruce’a Langhorne’a. Wspomniał także o tym, że napisał ten utwór po wzięciu udziału w Mardi Gras i opuszczeniu Nowego Orleanu w połowie lutego 1964 roku. Amerykański dziennikarz Al Aronowitz twierdził jednak, że „Mr. Tambourine Man” powstał w czasie całonocnej pracy Dylana w jego domu w Berkeley Heights (stan New Jersey).