Początkowo zespół nie posiadał jednolitego składu, jednak mimo tego muzycy bardzo szybko zaczęli występować przed szerszą publicznością. Jednym z pierwszych basistów Złych Psów był Paweł Mąciwoda, obecny członek zespołu Scorpions, z którym Nowak przyjaźnił się już od pobytu w Stanach Zjednoczonych. W 2001 roku skład zespołu uległ ustabilizowaniu. Ponadto dołączyli gitarzysta Rafał Rogulski, basista Filip Güntzel oraz perkusista Dariusz Świechowski.
Twórczość zespołu zyskała zainteresowanie wytwórni muzycznej Metal Mind Productions. Debiutancki album zatytułowany Forever został wydany 21 października 2002 roku. Wydawnictwo cieszyło się uznaniem publiczności jak i krytyków muzycznych. Na przełomie 2003 i 2004 roku zespół Złe Psy ograniczył działalność koncertową w związku ze zobowiązaniami Nowaka w jego macierzystym zespole TSA. W 2006 roku uległ zmianie skład zespołu, nowym gitarzystą został Grzegorz Babisz, basistą Bartosz Szwed, natomiast perkusistą został Marek Motylski. W grudniu 2007 roku Motylskiego zastąpił znany z występów w zespole TSA Marek Kapłon. Rok później w odnowionym składzie zespół dał szereg koncertów w Polsce.