W rządzie We wczesnych latach 70. był protegowanym swego dawnego kolegi Donalda Rumsfelda, który wspierał jego karierę w administracji. W czasie, gdy Caspar Weinberger był sekretarzem zdrowia i edukacji w gabinecie Richarda Nixona, Carlucci pełnił funkcję jego zastępcy.
Następnie piastował stanowiska ambasadora w Portugalii (1974–1977) i zastępcy dyrektora CIA Stansfielda Turnera (w demokratycznej administracji Jimmy’ego Cartera) od 1978 do 1981.
Ponownie był zastępcą Weinbergera, tym razem sekretarza obrony (w latach 1981–1983). Po odejściu Johna Poindextera ze stanowiska doradcy ds. bezpieczeństwa narodowego w wyniku afery Iran-Contras w 1986 zajął jego miejsce. Zaś po odejściu również zamieszanego w aferę Weinbergera, prezydent Reagan mianował go sekretarzem obrony.
Jako szef Pentagonu Carlucci dał się poznać jako zwolennik większego niż poprzednik odprężenia i współpracy z blokiem wschodnim, jaka cechowała ostatnie lata prezydentury Reagana, w przeciwieństwie do poprzednich.
Sekretarzem obrony pozostał do końca kadencji Reagana.