12 stycznia powrócił do Londynu, gdzie miał różne zobowiązania.

Głównym źródłem tej kompozycji są dwa utwory: „Drop Down Mama” bluesmana Sleepy’ego Johna Estesa i tradycyjna folkowa ballada brytyjska „Go 'Way from My Window”, którą Dylan nagrał w maju 1960 r. w domu Karen Wallace w Saint Paul w stanie Minnesota. „Drop Down Mama” zawiera wers „Go 'way from my window/quit scratchin' on my screen”.

Pierwsze prezentacje utworu przez Dylana w latach 1964 i na początku 1965 (często w duecie z Joan Baez) były wykonywane w bardzo powolnym, nawet marszopodobnym rytmie. Od końca 1965 r., kiedy to zelektryfikował się i akompaniowała mu grupa The Hawks (zobacz The Band), piosenka nabrała tempa i energii. Szczyt nastąpił na koncertach w ramach Rolling Thunder Revue zarówno w roku 1975 jaki 1976 r. Po roku 1980 Dylan powrócił do spokojniejszych, czasem nawet sentymentalnych interpretacji utworu.

Do dziś piosenka ta pozostaje jednym z najpopularniejszych utworów Dylana.