Pełnił tę funkcję do lutego 1981, wówczas już z pełną rangą admiralską (był pierwszym oficerem wywiadu Marynarki Wojennej awansowanym do tego stopnia), otrzymał stanowisko zastępcy dyrektora Centrali Wywiadu, na którym pozostał do chwili przejścia w stan spoczynku, co nastąpiło w lipcu 1982. Jego odejście z wywiadu przypisywano zatargom osobistym z ówczesnym DCI Williamem Caseyem. Po odejściu z funkcji zastępcy DCI przez krótki czas był doradcą zdominowanej przez demokratów Komisji ds. Wywiadu Izby Reprezentantów. Z funkcji tej zrezygnował, zarzucając komisji stronniczość polityczną, i poświęcił się działalności biznesowej.
16 grudnia 1993 prezydent Stanów Zjednoczonych Bill Clinton poinformował o zamiarze mianowania go sekretarzem obrony, lecz Inman na początku 1994 wycofał publicznie swoją kandydaturę ze względu na rozpętaną przeciwko niemu kampanię prasową.