W latach młodości DuVall związany był ze sceną punkową Atlanty. Działalność artystyczną rozpoczął na początku lat 80., występując wraz z dwoma czarnoskórymi kolegami w amatorskim zespole Awareness Void of Chaos, prezentującym muzykę z pogranicza thrash punku i reggae. Jesienią 1983 DuVall był współzałożycielem grupy hardcore punk Neon Christ. Pełnił w niej rolę gitarzysty. „Perkusista miał 14 lat, kiedy zorganizowaliśmy naszą pierwszą trasę. Nikt z nas nie mógł prowadzić, musieliśmy więc prosić starszych kolegów wokalisty, by nas wozili na koncerty – i tak zjeździliśmy całe wschodnie wybrzeże” – przyznawał. Na początku 1984 muzycy opublikowali debiutancki minialbum Parental Suppression, utrzymany w klimacie Bad Brains i Minor Threat, który ukazał się nakładem wytwórni Social Crisis Records. Według wokalisty Randy’ego DuTeau zespół w początkowym okresie tworzył pod silnym wpływem thrash metalu, lecz ich muzyka ewaluowała od nacisku na szybkość z akcentem na strukturę i melodię.