Wydanie Utwór „Don’t Follow” został opublikowany na minialbumie Jar of Flies 25 stycznia 1994, choć według niektórych źródeł, ukazał się w formacie singla. Kompozycja został wykorzystana również na stronie B brytyjskiej wersji singla „I Stay Away”.
Odbiór Krytyczny mały|W utworze wykorzystano harmonijkę ustną, na której zagrał David Atkinson Recenzent AllMusic Ned Raggett przyznał, że „to jedna z najlepszych kompozycji w dorobku Alice in Chains”. Autor pochlebnie odniósł się także do stylu śpiewania Cantrella w utworze. Raggett zwrócił uwagę na fakt, że „Don’t Follow” wprowadza słuchacza w stan melancholii, wyciszenia i spokoju. „Gitara akustyczna Cantrella jest po prostu cudowna, miękka, z udziałem melodii, która ma bogate poczucie punktu orientacyjnego klasycznego rocka”. Ric Albano z brytyjskiego magazynu „Classic Rock” napisał o utworze: „«Don’t Follow» opiera się na bardziej tradycyjnej folkowej sztuce akustycznej, będącej bardzo wyluzowaną i rozmyślną”. Albano zwrócił uwagę, że kompozycja w drugiej części trwania zyskuje na większej dynamice, dzięki sekcji rytmicznej i „szalonej” grze Davida Atkinsona na harmonijce.