była przeciwna karze śmierci i była zwolenniczką aborcji.
W sprawach społecznych głównie skupiła się na opiece nad osobami niepełnosprawnymi i chorymi umysłowo. Na jej wniosek prezydent złożył projekt powołania Komisji Zdrowia Psychicznego, która została utworzona uchwałą Kongresu w 1980 roku. Pierwsza dama została honorową przewodniczącą Komisji, jednak administracja Reagana znacznie obniżyła wydatki na prace organizacji. Carter propagowała także programy opieki dla osób starszych (rozszerzenie świadczeń społecznych) i utworzenie ośrodków opieki dziennej dla dzieci. Agitowała na rzecz zwiększenia liczby kobiet w administracjach publicznych. Była rozczarowana, kiedy ratyfikacja poprawki konstytucyjnej dotycząca równouprawnienia kobiet nie powiodła się.
Gdy w 1980 roku Carter ubiegał się o reelekcję, pierwsza dama ponownie podróżowała po kraju, przemawiając na wiecach i konwencjach. Mimo to Jimmy poniósł porażkę z Ronaldem Reaganem, po czym Carterowie opuścili Biały Dom, przenosząc się do rodzinnego Plains. Powrócili do uprawy orzeszków ziemnych i zaangażowali się w działalność społeczną. W 1981 roku Rosalynn została członkiem rady dyrektorów Krajowego Stowarzyszenia Chorób Psychicznych. Sześć lat później założyła Rosalynn Center Institute for Caregiving przy Georgia Southwestern University.