W 1967 roku po raz piąty wcielił się w postać agenta 007 w filmie Żyje się tylko dwa razy, który zarobił 112 mln dolarów. Po nakręceniu obrazu ogłoszono, że Connery rezygnuje z roli agenta 007. Aktor nie chciał być utożsamiany tylko z jednym bohaterem.
mały|Connery podczas kręcenia filmu Diamenty są wieczne (1971) Przez kolejne 4 lata odpoczywał, między innymi grając w golfa, a także okazjonalnie pojawiając się w filmach. W 1971 roku, zachęcony czekiem na ponad milion dolarów, zagrał w kolejnym filmie z serii o Bondzie – Diamenty są wieczne, który odniósł wielki sukces komercyjny, przynosząc dochód wynoszący 116 mln dolarów. Zysk z filmu Connery przeznaczył na założony przez siebie Scottish International Educational Trust, który pomaga biednym, utalentowanym szkockim dzieciom. W 1973 roku odrzucił propozycję zagrania Bonda w filmie Żyj i pozwól umrzeć. 10 lat później jeszcze raz wystąpił w roli Bonda w filmie Nigdy nie mów nigdy, który nie jest zaliczany do kanonicznego cyklu (producentem był Warner Bros.). Aby dobrze przygotować się do tej roli, 53-letni aktor trenował pod okiem Stevena Seagala. Podczas treningów Seagal złamał mu nadgarstek, o czym Connery dowiedział się dopiero 10 lat później.