Diana Darzin z „Kerrang!” zwróciła uwagę na linię melodyczną, mroczny nastrój i akompaniament instrumentów smyczkowych, a utwór opisała jako „radosny i przerażający”. Sam Law z tego samego tygodnika nazwał „I Stay Away” najbardziej wyrazistym stylistycznie momentem epki. Uważał, że choć Staley napisał tekst po odwyku, piosenka jest przesycona atmosferą mrocznej i nieokiełznanej psychodelii. Katherine Turman z „Los Angeles Timesa” uznała, że dzięki mrocznemu klimatowi utwór w pełni oddaje charakterystyczne brzmienie zespołu. Styl wokalny Staleya określiła jako „namiętny, dziwnie zmanierowany”. Jon Hotten z magazynu branżowego „” wyróżnił „głębię i subtelność” utworu oraz określił go jako „epicki”. Dodał, że leniwy i nieco mglisty nastrój, tworzony w „Rotten Apple” przez brzmienie gitary Cantrella, utrzymuje się również w „I Stay Away”.
Wyniki komercyjne Komercyjna rozgłośnia KROQ-FM z Los Angeles w stanie Kalifornia emitowała „I Stay Away” w marcu 1994. 14 maja utwór zadebiutował na 39. pozycji listy Album Rock Tracks, opracowywanej przez „Billboard”. 2 lipca, po ośmiu tygodniach obecności na liście, dotarł do 10. miejsca i utrzymał się na nim przez trzy tygodnie. Łącznie pozostawał w zestawieniu przez 26 tygodni. W opublikowanym 24 grudnia zestawieniu końcoworocznym tej listy zajął 24.