Przez całe życie wchodziła w toksyczne związki, w których była też ofiarą przemocy. Pierwszy mąż i następni partnerzy Holliday (puzonista Jimmy Monroe, trębacz Joe Guy, basista John Simmons i alfons John Levy) zażywali narkotyki, co stało się przyczyną narastających z czasem kłopotów zdrowotnych i problemów z prawem u artystki. Randall Roberts z Los Angeles Times napisał, że „następne jej lata będą [częściowo] walką z antynarkotykowymi agentami federalnymi, (…) mającymi obsesję zarówno na punkcie jej uzależnienia od heroiny, jak i jej wykonania wstrząsającej ballady »Strange Fruit«, dzięki której stała się gwiazdą”. Rządowa walka z muzykami korzystającymi z narkotyków nie obejmowała wszystkich – według książki „Chasing the Scream: The First and Last Days of the War on Drugs” (2015), pierwszy i wieloletni Komisarz Federalnego Biura ds. Narkotyków, Harry Anslinger, zapewnił w trakcie przesłuchania przed Kongresem, że „represje nie będą dotyczyć dobrych muzyków, lecz tych jazzowych”Johann Hari. Chasing the Scream: The First and Last Days of the War on Drugs. 2015.