Podczas gdy Gregg wrócił do Kalifornii, żeby wypełnić zobowiązania związane z grupą Hour Glass, Duane grał w różnych zespołach muzycznych z Florydy.
Na początku 1968 grą w FAME Recording Studios w Muscle Shoals w Alabamie zwrócił uwagę Ricka Halla, właściciela wytwórni FAME, który w listopadzie 1968 zatrudnił go do nagrania albumu Hey Jude (1968) z Wilsonem Pickettem. Niedługo później został muzykiem sesyjnym na pełnym etacie w Muscle Shoals. Został zauważony przez wielu innych muzyków, m.in. Erica Claptona. Występ Allnana na Hey Jude zachwycił również producenta i kierownika wytwórni Atlantic Records – Jerry’ego Wexlera, który wykupił kontrakt muzyka i chciał, aby ten grał na wszystkich sesjach artystów R&B w Atlantic. Tym sposobem pojawił się na płytach artystów, takich jak: Clarence Carter, King Curtis, Aretha Franklin, Otis Rush, Percy Sledge, Boz Scaggs i Herbie Mann. Na pierwszą sesję nagraniową z Franklin pojechał do Nowego Jorku, gdzie w styczniu 1969 udał się jako widz do klubu Fillmore East na koncert Johnny’ego Wintera i miał powiedzieć do gitarzysty Jimmy’ego Johnsona, że za rok on też znajdzie się na tej scenie.