Recenzje Piosenka zyskała przychylne opinie prasy muzycznej, która doceniła zmianę w wizerunku artystki na dojrzalszy i bardziej łagodny. Magazyn Slant Magazine przyznał singlowi 42. miejsce w rankingu najlepszych piosenek wydanych w latach 90., uzasadniając to jej bardziej naturalnym brzmieniem oraz aranżacją. Alex Needham z NME uznał piosenkę za "niedoceniony skarb", dodając, że charakteryzuje się "wspaniałym, bluesowym rytmem". Zdaniem autora recenzji, tekst utworu jest peanem do heroiny i masturbacji. Barbara O"Dair z Rolling Stone określiła singel jako "zaraźliwy", jednocześnie zauważyła powściągliwość w śpiewie Madonny oraz smutną atmosferę, zwłaszcza we fragmencie tekstu "Happiness lies in your own hand/It took me much too long to understand". John Myers z Yahoo! Music porównał "Secret" do dokonań Madonny z poprzedniej płyty, Erotica. Stephen Thomas Erlewine w recenzji AllMusic uznał piosenkę za jedną z lepszych na płycie, uzasadniając to tym, iż podobnie jak w innych piosenkach na niej zawartych, takich jak Take a Bow, Sanctuary, Bedtime Story linia melodyczna „prowadzi do podświadomości wraz z pulsowaniem basu". W recenzji z 2011 roku dziennikarz Brett Callwood z gazety Detroit Metro Times nazwał piosenkę "spektakularną".