Utwór opiera się na schemacie popowym, lecz ma złożone brzmienie. Składają się na nie partie gitar akustycznych i elektrycznych, głęboki bas, dynamiczna gra perkusji oraz śpiew Staleya. Aby nadać mu większą głębię, nałożono na siebie kilka ścieżek wokalnych, podobnie jak w „No Excuses” oraz „Rotten Apple”. Wykonanie Staleya łączy melancholijne i drapieżniejsze partie. Brzmienie stanowi hybrydę grunge’u i funku, łączy elementy rocka i soulu oraz nawiązuje do melodyjnego stylu lat 70. XX wieku spod znaku Jamesa Taylora.
W „I Stay Away” zastosowano strój obniżony o pół tonu (Db-Ab-Db-Gb-Bb-Eb), określany również jako „drop Db” lub „drop C#”. Na początku utworu pojawia się arpeggio grane na gitarze dwunastostrunowej. Niemal wszystkie partie gitary akustycznej utrzymano w tonacji durowej, natomiast po wejściu gitar elektrycznych przeważają riffy wywodzące się ze skali molowej. Cantrell wykonuje także na sześciostrunowej gitarze elektrycznej partię o ;