Latem 1994 roku Albert odszedł z Anderlechtu i za 2,6 miliona funtów został sprzedany do angielskiego Newcastle United, prowadzonego przez menedżera Kevina Keegana. W dniu swoich 27 urodzin, czyli 10 sierpnia, podpisał kontrakt ze „Srokami” i na tę okazję wybrał numer 27. W Premiership Belg zadebiutował 21 sierpnia w wygranym 3:1 wyjazdowym meczu z Leicester City. W Newcastle był podstawowym zawodnikiem, jednak w niemal każdym sezonie leczył kontuzję. W sezonie 1995/1996 był bliski wywalczenia mistrzostwa Anglii, jednak w ostatnich kolejkach „Sroki” straciły przewagę nad Manchesterem United i to „Czerwone Diabły” świętowały wywalczenie tytułu. W 1997 roku Newcastle znów zakończyło sezon na 2. miejscu za Manchesterem, a Albert był jednym z bohaterów spotkania między tymi drużynami, rozegranego na St James’ Park, które Newcastle wygrało aż 5:0. W 86. minucie meczu strzelił gola Peterowi Schmeichelowi strzałem z około 35 metrów. W 1998 roku dotarł z Newcastle do finału Pucharu Anglii, ale jego zespół uległ 0:2 Arsenalowi. W sezonie 1998/1999, gdy menedżerem Newcastle został Ruud Gullit, Albert rozegrał zaledwie 7 spotkań i zimą został wypożyczony do grającego w Division Two, Fulham F.C. i przyczynił się do jego awansu do Division One.