Lerma był niezwykle pobożny i rozrzutny w fundacjach kościelnych.
Kardynał Do zagorzałych przeciwników Lermy na dworze należała królowa Małgorzata Austriaczka wokół której skupiło się stronnictwo antylermowskie. Do upadku pierwszego valido przyczynił się jednak jego własny syn don Cristóbal de Sandoval, książę Uceda, w drodze dworskiej intrygi. Dzięki poparciu królewskiego spowiednika brata Aliagi oraz zyskującemu na znaczeniu faworytowi infanta Filipa, Olivaresowi, zdołał doprowadzić do utraty przez ojca łaski królewskiej. Lerma został w końcu zmuszony do opuszczenia dworu 4 października 1618 roku (otrzymał pozwolenie króla na wyjazd). Przeczuwając niebezpieczeństwo zdołał się jednak zabezpieczyć. Uzyskał mianowicie, dzięki wytrwałym zabiegom u papieża Pawła V, tytuł kardynalski (marzec 1618). Udał się do Lermy, a następnie do Valladolid, gdzie wedle relacji codziennie odprawiał mszę „z wielkim oddaniem i łzami”. Kiedy w Madrycie dowiedziano się o tym zaczął krążyć następujący wierszyk, który zyskał na popularności w całym kraju:
thumb|left|220px|Kościół klasztorny św. Pawła (San Pablo) w Valladolid (XV w.). Wieże zbudował z inicjatywy Lermy architekt królewski Francisco de Mora
Para no morir ahorcado, el mayor ladrón de España, se viste de colorado.
By nie umrzeć powieszonym, największy złodziej w Hiszpanii, zrobił się purpuratem.