17 grudnia 1973 roku reżyser został aresztowany pod zarzutem homoseksualizmu i spekulanctwa. Skazano go na 5 lat pozbawienia wolności. Domniemywa się, iż faktycznym powodem uwięzienia był meldunek Jurija Andropowa dotyczący podróży reżysera do Mińska w grudniu 1971, gdzie wygłosił odczyt na pokazie autorskiej wersji Barw granatu. Był więziony w kijowskim Więzieniu Lukjanowskim i w kolonii w Ałczewsku, tworzył tam kolaże. Mimo protestów ze strony radzieckich i zachodnich ludzi kultury – filmowców, pisarzy, studentów, naukowców – organizacji międzynarodowych i opinii publicznej dopiero po czterech latach odzyskał wolność. Prawdopodobnie stało się to za sprawą interwencji szwagra Lili Brik Louisa Aragona u Leonida Breżniewa.
Mieszkanie Paradżanowa w Kijowie skonfiskowano, reżyser otrzymał też zakaz zamieszkania w Kijowie, Moskwie, Leningradzie i Erywaniu. Powrócił więc do domu rodzinnego w Tbilisi, gdzie pozostawał pod aresztem domowym. Wobec zakazu pracy przy filmie, artystyczne projekty realizował w formie scenariuszy, noweli i setek prac plastycznych, szczególnie kolaży. W 1982 roku po jego wystąpieniu w obronie spektaklu Włodzimierz Wysocki w moskiewskim Teatrze na Tagance ponownie go aresztowano i skazano na dziewięć miesięcy pozbawienia wolności.