Dopiero wycofanie z płyty ponadośmiominutowej Percy's Song pozwoliło Dylanowi włożyć w to miejsce „Ballad of Hollis Brown” i „With God on Our Side”. 26 października 1963 – koncert Dylana w Carnegie Hall, pierwszy, na który zaprosił swoich rodziców. Nagrania z tego koncertu miały znaleźć się na planowanym albumie koncertowym. 17 maja 1964 – koncert w „Royal Festival Hall” w Londynie w Wielkiej Brytanii. Koncert został nagrany przez firmę Pye Records i do tej pory niewydany. Koniec września 1964 – koncert w „Town Hall” w Filadelfii w stanie Pensylwania. 1 czerwca 1965 – nagrania dla TV BBC w Londynie. Emisja pierwszej części nagrań (z tą balladą) odbyła się 26 czerwca 1965 r. Po 10 latach przerwy Dylana wykonywał ten utwór podczas swojego pierwszego od 10 lat tournée. Było to tournée po Ameryce i rozpoczęło się 3 stycznia 1974 Jednak ballada ta nie znalazła się na albumie Before the Flood, prezentującym nagrania z koncertów tej tury. Dylan wykonał tę piosenkę na koncercie Live Aid 13 lipca 1985 Od czasu do czasu powracał do niej w koncertach z serii „Nigdy nie kończące się tournée”.