Zwany przez jego rodzinę Jackiem, miał burzliwe dzieciństwo. Jego rodzice rozwiedli się i kilkakrotnie brali ślub. Urodził się z drugiego z trzech małżeństw matki, a pierwszego z czterech związków małżeńskich jego ojca. W czasie ich małżeństwa, matka już wychowywała syna pierwszego męża. Jego ojciec planował dużą rodzinę, ale po tym jak jego żona miała serię poronień, odkrył, że miała wiele nielegalnych aborcji bez jego wiedzy. W tym kontekście niezgody małżeńskiej, w wieku pięciu lat chciał popełnić samobójstwo przez powieszenie, uratował go ojciec.
Po trzech latach małżeństwa, matka złożyła pozew o rozwód, ale para pozostawała w związku małżeńskim przez kolejne pięć lat. Rozwód w końcu się odbył w roku 1944, kiedy to David miał siedem lat. Jego ojciec opuścił Kalifornię, aby uniknąć płacenia alimentów. Po serii bitew sądowych w walce o opiekę nad dzieckiem i alimenty, w rezultacie David dołączył do swojego ojca w Nowym Jorku. W tym czasie jego ojciec ożenił się ponownie. Przez kilka następnych lat przemieszczał się po internatach.