W omówieniu dla witryny internetowej AllMusic Stephen Thomas Erlewine napisał: „Gdy Aguilerze udaje się odbiec od szablonu Madonny, wędruje na terytoria drugiego albumu Fiony Apple – ze swoją rozbrzmiewającą, fortepianową melodią ‘Mercy on Me’ jest łudząco podobny do dowolnie wybranej piosenki z When the Pawn Hits the Conflicts He Thinks Like a King (1999)”. Michael Fraiman, recenzent pracujący dla serwisu cinemablend.com, uznał, że „Mercy on Me” to muzyczna spowiedź Aguilery, w której przyznaje się ona do własnej wrażliwości. W swojej recenzji Fraiman podkreślił kontrast między „Mercy on Me” a singlowym „Candyman”, przesiąkniętym seksualną wymową. Autorka witryny internetowej o nazwie Music is a Way of Survival przyznała, że pochodzące z albumu Back to Basics ballady „Mercy on Me” i „Hurt” potwierdzają ogromne możliwości wokalne Aguilery. Zdaniem Zuzanny Ziomeckiej (AllAboutMusic.pl), kompozycja „zwala z nóg” i sprawia, że „po plechach przechodzą ciarki”. Ziomecka szczególnie chwaliła śpiew Aguilery, tekst piosenki oraz chórki z początku ballady, stanowiące „genialny wstęp do tego, co będzie dalej”, dodając także, że przy „Mercy on Me” blakną inne utwory z Back to Basics. Mike Joseph (PopMatters.com) wskazał omawianą kompozycję jako najwybitniejszy utwór zawarty na piątym studyjnym albumie Aguilery.