Był też aktywnym fotografem, po jego śmierci córka, Victoria Brynner, wydała album Yul Brynner: Photographer. Ponadto napisał dwie książki: Bring Forth the Children: A Journey to the Forgotten People of Europe and the Middle East (1960) i kucharską The Yul Brynner Cookbook: Food Fit for the King and You (1983).
Życie prywatne Był czterokrotnie żonaty: Virginia Gilmore (od 1944 do 1960, rozwód); syn Yul „Rock” Brynner II (ur. 1946) Doris Kleiner (od 1960 do 1967, rozwód); córka Victoria Brynner (ur. 1962) Jacqueline Thion de la Chaume (od 1971 do 1981, rozwód); dwoje adoptowanych wietnamskich dzieci Kathy Lee (od 1983 do 1985, jego śmierć) Brynner miał także jeszcze nieślubną córkę (ur. 1958).
Z wieloma gwiazdami Hollywood łączyły go gorące romanse. Wśród jego przyjaciółek znajdowały się m.in. Marlena Dietrich, Judy Garland.
Śmierć Zmarł 10 października 1985 w Nowym Jorku na raka płuca w wieku 65 lat. Tego samego dnia w Los Angeles umarł Orson Welles.