W 1811 przeprowadził się do Pasierbca Jan Matras – żołnierz armii austriackiej, który po cudownym ocaleniu w bitwie złożył ślubowanie Matce Bożej, że wzniesie jej kaplicę i będzie szerzył jej kult. Na swojej posesji wzniósł niewielką kamienną kapliczkę i umieścił w niej obraz swojej Wybawicielki – Matki Boskiej Pocieszenia. Obraz i kaplica zostały poświęcone w 1823 i tak rozpoczął się kult cudownego obrazu.
Po odzyskaniu przez Polskę niepodległości otwarto w Pasierbcu pierwszą szkołę ludową. Wzniesiony wspólnymi siłami mieszkańców budynek oddano do użytkowania w 1931.
Druga wojna światowa zebrała w Pasierbcu swoje żniwo – zginęło lub zostało wywiezionych na roboty przymusowe wielu mieszkańców wsi. W okolicznych lasach gestapo zakatowało kapitana AK Józefa Bednarka, a później rozgromili jego oddział partyzancki. Pociechy przed nieustannym strachem o własne życie mieszkańcy szukali w modlitwie przed cudownym obrazem, co propagowało jego kult w okolicy.
Dynamiczny rozwój wsi nastąpił w latach 50. XX wieku, kiedy to zorganizowano tutejszą parafię, a następnie w latach 70. XX wieku, kiedy do Pasierbca wybudowano solidną drogę z Łososiny Górnej, co połączyło go z niedaleką Limanową i znacznie usprawniło transport.