Brown uważał się za przeciwnika kary śmierci, czemu niejednokrotnie głośno dawał wyraz. Jednakże za jego rządów wykonano 35 egzekucji, w tym tak słynne, jak sprawy Caryla Chessmana i Elizabeth Duncan (ostatnia kobieta stracona w USA przed 1984 rokiem). W 1963 roku Brownowi udało się wstrzymać wszystkie egzekucje. Ostatnia egzekucja w Kalifornii miała miejsce za rządów Reagana.
Mimo swej popularności i niewątpliwych osiągnięć Brown przegrał walkę o trzecią kadencję w 1966 roku, kiedy pokonał go były demokrata, znany aktor (i ongiś szef związku zawodowego aktorów) oraz przyszły prezydent Ronald Reagan. Obie strony (Brown i Reagan) uciekały się do kampanii negatywnej. Reagan zupełnie bezpodstawnie pomawiał Browna o poglądy komunistyczne.
Dalsze życie Brown, który po przegranej z Reaganem wycofał się z działalności politycznej, wspierał kariery własnych dzieci, w tym syna Jerry’ego. Zmarł w 1996 roku w wieku 90 lat w Beverly Hills i został pochowany na cmentarzu w Colmie.
Rodzina Brown ożenił się w 1930 roku ze swoją znajomą jeszcze z czasów dzieciństwa Bernice Layne. Miał wtedy 25 lat a ona 22. Bernice była córką policjanta z San Francisco.