W 1809 roku Kozłow poślubił córkę brygadiera Sofię Andriejewną Dawydową, z którą miał syna Jakuba i córkę Aleksandrę. Od 20 czerwca do 30 sierpnia 1812 roku pracował w komitecie oświaty moskiewskiego garnizonu, jednak został zwolniony ze służby wraz z innymi urzędnikami na trzy dni przed wkroczeniem wojsk Napoleona do Moskwy. Iwan Iwanowicz Kozłow wyjechał z rodziną do Rybińska, gdzie zatrzymali się u Chomutowów, krewnych matki.
Po wypędzeniu Francuzów z Rosji Kozłow nie wrócił już do Moskwy, lecz przeniósł się do Sankt Petersburga. 24 lipca 1813 roku otrzymał posadę asystenta stolnika () w . 7 października 1814 roku otrzymał stopień (6. klasa tabeli rang).
Działalność literacka Około 1818 roku postępujący paraliż pozbawił go władzy w nogach. W 1819 roku Kozłow zaczął tracić wzrok, a w 1821 roku ostatecznie oślepł. Nie mogąc dalej wykonywać pracy państwowej zajął się poezją i tłumaczeniami z włoskiego, francuskiego, niemieckiego i angielskiego. Pomimo ślepoty i upośledzenia ruchowego Kozłow znany był z niezwykłego męstwa. Poruszający się na wózku inwalidzkim, zawsze dbał o elegancki ubiór, mówił jasno i klarownie, z pamięci deklamował poezję europejską. Jego dolegliwości zdrowotne nasilały się jednak nocą, dokuczały mu okrutne bóle.