Przez trzydzieści lat cierpiał na chorobę Ménière’a, która stopniowo doprowadziła u niego do niemal całkowitej, obustronnej utraty słuchu. To jednak nie przeszkodziło mu w graniu. Zmarł wskutek niewydolności serca w wieku 67 lat. „The New York Times” nazwał go w nekrologu: Jednym z najbardziej utalentowanych i wpływowych pod względem stylu i techniki gry powojennych gitarzystów jazzowych na świecie.
Wybrana dyskografia Jako lider lub współlider 1951 Music Minus One – Volume 2 – A Rhythm Background Record for any Musician or Instrument – Don Abney–Jimmy Raney–Oscar Pettiford–Kenny Clarke (MMO – Music Minus One) Red Norvo Trio – Vol. 1 (Discovery Records) Red Norvo Trio – Volume 2 (Discovery) 1954 Jimmy Raney Visits Paris (Vogue Records) Jimmy Raney Visits Paris – Vol.