Później przytrafiła mu się kontuzja, po której już nigdy nie wrócił do dawnej formy. Sezon później rozegrał jedynie 7 meczów w barwach „Pawi”, które uplasowały się na 11. miejscu. Do klubu przyszedł menedżer George Graham, który nie widział Tony’ego w pierwszym składzie i piłkarz dostał zgodę na transfer. W sezonie 1997/1998 wrócił do Niemiec, a jego nowym klubem został Hamburger SV.
Powrót do Niemiec W nowym klubie zadebiutował dopiero w 8 kolejce, kiedy to HSV podejmowało u siebie VfL Bochum. Mecz zakończył 2:1, Yeboah zszedł z boiska w 62 minucie. 5 października, w 9 kolejce Anthony strzelił swojego pierwszego gola dla HSV (w 55 minucie), jednak ekipa Franka Pagelsdorfa przegrała 2:5 (Yeboah został ukarany żółtą kartką). Pierwszy sezon nie był dla niego zbyt udany (3 bramki w 23 meczach), a jego klub zajął 9. pozycję w lidze. Jednak mimo tego nie zrezygnowali z usług Ghańczyka. Sezon 1998/1999 Anthony zaczął bardzo dobrze. W inauguracyjnym spotkaniu z 1. FC Nürnberg wpisał się w 88 minucie na listę strzelców, wyrównując wynik spotkania na 1:1. Kolejkę później, z VfL Bochum również trafił do siatki (33 minuta) i tym samym otworzył, a zarazem zamknął wynik. Znakomite spotkanie rozegrał w 24 kolejce, przeciwko Freiburgowi. Piłkarze HSV w 13 minucie stracili bramkę na 0:1.