Opinie krytyków thumb|250px|Nas w 1998 roku Przez lata fani, jak i krytycy muzyczni wymieniali jako jedno z największych dokonań Nasa oraz jako jedno z największych dokonań w historii hip-hopu. Magazyn About.com uplasował „N.Y. State of Mind” na 74. miejscu na liście „100 najlepszych utworów hip-hopowych”, a magazyn Rolling Stone umieścił utwór na swojej liście „50 najlepszych utworów rapowych wszech czasów”. Marc L. Hill z portalu PopMatters opisał „N.Y. State of Mind” jako wyróżniający się utwór na Illmaticu, stwierdzając, że „dostarcza on tak wyraźnego obrazu życia w getcie jak fotografie Gordona Parksa czy wiersze Langstona Hughesa”. W 2015 roku największy magazyn muzyczny w Stanach Zjednoczonych, Billboard umieścił beat do „N.Y. State of Mind” na 2. miejscu listy 10 najlepszych beatów wszech czasów, stawiając go tylko za utworem „The Message” grupy Grandmaster Flash and the Furious Five.
Utwór cieszy się wciąż dużym uznaniem wśród innych raperów i tak na przykład amerykański artysta Talib Kweli umieścił pierwszą zworkę z „N.Y. State of Mind” na 7. miejscu listy 25 najlepszych zwrotek.