Jednak zostało potwierdzone przez córkę Davisa i Britt Tracey, Nancy Sinatrę i dokumentalistę Sama Pollarda, że to małżeństwo spowodowało, że prezydent Kennedy odrzucił zaproszenie Davisa do występu na jego inauguracji. Z May Britt miał dwóch synów - Marka (ur. 1996) i Jeffa (ur. 1963) oraz córkę Tracey (ur. 5 lipca 1961). 19 grudnia 1968 rozwiedli się, po tym, jak Davis przyznał się do romansu z piosenkarką Lolą Falaną (1967). Po rozwodzie Davis uzależnił się od alkoholu i „znalazł ukojenie w narkotykach, szczególnie w kokainie i azotynach amylu, i krótko eksperymentował z satanizmem i pornografią”. 11 maja 1970 poślubił artystkę estradową Altovise Joanne Gore, z którą miał syna Manny’ego.
19 listopada 1954 Davis jechał z Las Vegas do Los Angeles, aby nagrać ścieżkę dźwiękową do filmu Sześć mostów na krzyż (Six Bridges to Cross). Nigdy nie dotarł do studia. Wczesnym rankiem jego Cadillac zderzył się z pojazdem, który wyjechał przed nim. Odniósł masywne obrażenia twarzy, w tym złamany nos i uszkodzenie lewego oka tak poważne, że musiało zostać zastąpione plastikowym. Jako wytrawny profesjonalista wrócił na scenę zaledwie dwa miesiące później.