Melodia jest zapożyczona od Tampy Reda, mimo że wokalista grupy Walter Vinson twierdził, że skomponował ją gdy szedł na tańce w Itta Bena, Mississippi. Utwór ten został nagrany także przez Bill Monroe and His Blue Grass Boys oraz, w wersji mocno bluesowej przez Howlin’ Wolfa. Jest to jeden z popularniejszych do dziś utworów, nagrywany nawet przez białe zespoły rockowo-bluesowe (Cream). 21 października 1961 r. Dylan wziął udział w sesji nagraniowej pieśniarki bluesowej Victorii Spivey (wtedy się z nią zaprzyjaźnił), której plonem był album Three Kings & Queen Vols. 1 & 2. Dograł harmonijkę do czterech utworów, między którymi była wersja „Sittin' on Top of the World”. Little Maggie. Dylan wykonywał ten utwór jeszcze zanim stał się sławny. Elektryczną wersję piosenki zagrał na koncercie w Perth w 1992 r. Można przypuszczać, że nagrał ją także na sesjach chicagowskich. Utwór ma korzenie bluegrassowe. Najpewniej artysta mógł posłużyć się nagraniem Toma Paleya z 1953 r., które znalazło się na 10-calowej płytce Folk Songs from the Southern Appalachian Mountains. Tom Paley był członkiem New Lost City Ramblers. Hard Times. Utwór z końca XIX wieku, napisany przez Stephena Camptown Races Fostera. Wersję tej piosenki, którą mógł posłużyć się Dylan zawiera koncertowy album Emmylou Harris z 1991 roku. Step It Up and Go.