Rundę wiosenną sezonu 2004 także spędził w lidze norweskiej, a latem było raczej pewne, iż odejdzie do silniejszego klubu.
W letnim oknie transferowym 2004 Olofinjana otrzymał oferty z takich klubów jak FC København, Rosenborg BK, AS Monaco czy AJ Auxerre. Ostatecznie wybrał jednak Wolverhampton Wanderers, który w lipcu zapłacił za niego 1,7 miliona funtów. W Football League Championship Olofinjana zadebiutował w 1. kolejce, 8 sierpnia 2004 w przegranym 1:2 wyjazdowym meczu ze Stoke City. W sezonie 2004/2005 szybko wkomponował się w zespół "Wilków" i rozegrał w nim aż 42 ligowe mecze (na 46 możliwych), w których to zdobył 5 goli (swojego pierwszego w przegranym 1:2 meczu z Ipswich Town). Z Wolves zajął jednak dopiero 9. pozycję, co jak na spadkowicza z Premiership nie było najlepszym wynikiem. Sezon 2005/2006 był jednak dla Seyi dużo gorszy niż poprzedni. Miał problemy z wywalczeniem miejsca w składzie i zagrał tylko w 13 ligowych meczach, a do tego kibice krytykowali go, że pomimo dobrych warunków fizycznych nie gra twardo w obronie. W październiku 2005 dodatkowo przytrafiła mu się kontuzja pleców, co spowodowało, że stracił kilka miesięcy na leczenie. W kolejnych sezonach był jednak ponownie podstawowym zawodnikiem "Wilków".