mieszkali w zamku Ludlow w Shropshire. W jego imieniu Anthony zarządzał księstwem Walii. Król ufał hrabiemu w kwestii wychowania syna oraz doboru towarzystwa. Anthony miał bardzo duży wpływ na swego siostrzeńca.
Osobowość Anthony był uznawany za jednego z najlepszych rycerzy angielskich. Dużo czytał; po śmierci matki odziedziczył jej bibliotekę. Wiele czasu poświęcał aktywności fizycznej m.in. jeździe konnej. Pisał wiersze. Współpracował z Williamem Caxtonem.
Małżeństwa i potomstwo Około 1462 r. z inicjatywy matki poślubił Elizabeth de Scales, córkę lojalnego wobec Lancasterów Thomasa Scales'a. Dzięki żonie uzyskał tytuł barona Scales. Małżeństwo było bezpotomne. Po śmierci Elizabeth w 1473 r. Anthony odziedziczył cały jej majątek i zachował tytuł.
Około 1480 r. poślubił Mary FitzLewis, wnuczkę księcia Somerset Edmunda Beauforta.
Miał pozamałżeńską córkę Margaret, urodzoną najprawdopodobniej przed 1461 r.
Aresztowanie i śmierć W kwietniu 1483 r. Edward IV zmarł. Następcą został starszy z jego synów, Edward V. Anthony na polecenie swojej siostry miał eskortować niespełna 13-letniego króla do Londynu. Pod koniec maja 1483 r.