Holiday sagte, dass sie in den frühen 1940er Jahren mit dem Konsum harter Drogen begann. Am 25. August 1941 hatte sie den Posaunisten Jimmy Monroe geheiratet. Als sie noch mit Monroe verheiratet war, begann sie eine romantische Beziehung mit dem Trompeter Joe Guy, der auch ihr Drogendealer war. Sie lebte mit ihm als seine Ehefrau (als Ehefrau nach Gewohnheitsrecht bezeichnet) und ließ sich 1947 von Monroe scheiden. Sie trennte sich auch von Guy. Nachdem sie 1947 verhaftet und wegen Drogenbesitzes verurteilt worden war, durfte sie für den Rest ihres Lebens nicht mehr in Clubs in New York arbeiten. Das einzige Mal, dass sie dazu in der Lage war, war, als sie 1948 im Ebony Club sang, wo sie die Erlaubnis von John Levy hatte.
In den 1950er Jahren verschlechterte sich der Gesundheitszustand von Holiday aufgrund ihres Alkohol- und Drogenkonsums und ihrer Beziehungen zu missbrauchenden Männern. Ihre Stimme wurde rau, aber einige Leute sagen, dass ihr Gesang emotionaler wurde.
Am 28. März 1952 heiratete Holiday Louis McKay, einen Mann, der für die Mafia arbeitete. McKay war, wie die meisten Männer in ihrem Leben, gewalttätig, aber er versuchte, sie dazu zu bringen, mit den Drogen aufzuhören. Später trennten sie sich.
Am 10. November 1956 gab sie zwei Konzerte vor großem Publikum in der Carnegie Hall.
Holiday ging 1954 zum ersten Mal mit Buddy DeFranco und Red Norvo auf Europa-Tournee. Als sie fast fünf Jahre später nach Europa zurückkehrte, trat sie im Fernsehen für das granadinische Chelsea at Nine in London auf. Dies war eines der letzten Male, dass sie im Fernsehen zu sehen war. Ihre letzten Studioaufnahmen wurden 1959 für MGM mit Ray Ellis und seinem Orchester gemacht, der sie 1958 auch bei Columbia's Lady in Satin Album begleitet hatte. Die Aufnahmen von MGM wurden nach Holiday's Tod auf einem Album mit dem Titel Last Recordings veröffentlicht.
Holidays Autobiografie Lady Sings the Blues wurde 1956 veröffentlicht. Sie wurde von William Dufty, einem Schriftsteller und Herausgeber der New York Post, der mit Holidays enger Freundin Maely Dufty verheiratet war, als Ghostwriter geschrieben. Er schrieb das Buch schnell, nachdem er in seiner Wohnung mit Holiday gesprochen und frühere Interviewer eingesetzt hatte. Seine wollte Holiday ihre Geschichte auf ihre Weise erzählen lassen.
Holiday hatte nie eigene Kinder, hatte aber zwei Patenkinder: die Sängerin Billie Lorraine Feather, Tochter von Leonard Feather, und Bevan Dufty, Sohn von William Dufty.