Gdy prace z MCA Records stanęły w martwym punkcie, Dilla nawiązał współpracę z niemiecką wytwórnią Groove Attack, dzięki której nagrał album Ruff Draft. Album został wydany jedynie na krążkach winylowych. Pomimo tego, że album nie zyskał wielkiego rozgłosu, był to pewnego rodzaju zwrot w karierze Jamesa. Od tego czasu jego nagrania były wydawane przez niezależne wytwórnie. Wspomniał o tym w wywiadzie z Groove Attack w 2003 roku:"Wiesz, jeżeli masz wybór... Porzucić główny label i samemu coś wydać, koleś... Zaufaj mi. Powiem to każdemu, że lepiej jest zrobić to po swojemu (...). Teraz jestem w MCA, ale czuję się jakbym był niezrzeszonym artystą. To jest super."
Późniejsze lata i śmierć W roku 2003 J Dilla zmienił miejsce zamieszkania z Detroit na Los Angeles, gdzie nawiązał współpracę z MC Madlib i jednym z tamtejszych producentów.
Choroba Jamesa oraz leczenie spowodowały ogromny spadek wagi w roku 2003. W rezultacie w roku 2004 potwierdził spekulacje, że zmaga się z poważną chorobą. Pomimo zwolnienia prac nad płytą uznanie dla jego osoby nie malało wśród jego fanów. Ludzie dzielili się w internecie jego nagraniami z twórczości, gdy był jeszcze w undergroundzie.