Życie prywatne Matka Jerzego Waldorffa, Joanna (1892–1987) pochodziła z warszawskiej rodziny Szustrów. Ojciec, Witold Preyss (1856–1932)sejm-wielki.pl, był ziemianinem herbu Nabram (Waldorff). Niedługo po urodzeniu się Jerzego Preyssowie wyjechali do rodzinnej miejscowości Kościelna Wieś na Kujawach. Przed I wojną światową sprzedali majątek i kupili kilka kamienic w Warszawie. Wybuch wojny zaskoczył rodzinę na wakacjach w Kołobrzegu, skąd przez neutralną Szwecję wrócili do WarszawyWywiad z Jerzym Waldorffem; tam spędzili resztę wojny. Po wojnie zamieszkali w kupionym małym dworku w Rękawczynie w Wielkopolsce.
Był orientacji homoseksualnej. W autobiografii pt. Taniec życia ze śmiercią Waldorff wspominał, iż była ona powodem wydziedziczenia go przez ojca. Jego partnerem życiowym był tancerz Mieczysław Jankowski, z którym spędził w związku 60 lat, od 1939. Partner opiekował się Waldorffem i prowadził dom. Para starała się ukrywać swój związek, unikając publicznego pokazywania się razem, a Waldorff przedstawiał w wywiadach Jankowskiego jako brata ciotecznego.
5 stycznia 2000 został pochowany na cmentarzu Powązkowskim w Warszawie, przy katakumbach (grób 80).