Sezon 2003 Kolejny sezon był znacznie słabszy, zarówno dla Janikowskiego, jak i jego drużyny. Raiders wygrali tylko 4 mecze i zajęli dopiero 3. miejsce w dywizji. Zawodnik zdobył 22 gole osiągając 88-procentową celność strzałów, ale 94 punkty było jego najsłabszym wynikiem w karierze, mimo że zagrał we wszystkich 16 meczach sezonu. Do pozytywnych aspektów nieudanego roku należały rekordowy, 55-jardowy gol zdobyty 2 listopada 2003 przeciwko Detroit Lions oraz 4 gole w jednej kwarcie (wyrównany rekord ligi) uzyskane przeciwko Chicago Bears (5 października 2003, porażka 21-24).

W tym ostatnim meczu po raz pierwszy w zawodowej karierze spudłował podwyższenie (po 147 celnych próbach).

Sezon 2004 Trafił 25 z 28 strzałów na bramkę, uzyskując 89,3% skuteczności (czwarty wynik w lidze oraz najlepsze wówczas osiągnięcie w karierze, pobite w 2009). Po raz 4. w karierze zdobył ponad 100 punktów w sezonie (106, 15. miejsce w lidze). Dwukrotnie trafił z co najmniej 50 jardów, notując 12 grudnia 52-jardowy kop przeciwko Atlanta Falcons (porażka 10-35). Raiders wygrali tylko 5 meczów, zajmując ostatnie miejsce w czterozespołowej dywizji.