Palącą kwestią początków panowania tego cesarza stało się rozwiązanie problemów Półwyspu Apenińskiego. Od upadku cesarstwa zachodniorzymskiego Italia pogrążona była w chaosie. W Rzymie władał wódz germański z plemienia Herulów Odoaker, który w 476 r. obalił ostatniego cesarza Romulusa Augustulusa, a insygnia imperialne odesłał do Konstantynopola. Tymczasem do Italii zbliżała się kolejna fala germańskich najeźdźców – Ostrogotów pod wodzą ich króla Teodoryka, zwanego później Wielkim z rodu Amalów. Zamiarem tego najwybitniejszego z ówczesnych władców było stworzenie silnego państwa. W 493 zdobył Rzym, a następnie zabił Odoakra i ogłosił się królem Italii. Bezradny wobec trudności w polityce wewnętrznej Anastazjusz w 497 roku uznał władzę Teodoryka Wielkiego w Italii jako (formalnie) cesarskiego namiestnika, zwracając insygnia. Ostrogoci wspierali wojska cesarskie w walkach z koczowniczymi plemionami Utigurów i Kutigurów.
W 502 r. wybuchła wojna Bizancjum z perskim imperium Sasanidów. Armia perska będąca stroną atakującą, zdobyła kilka twierdz bizantyjskich m.in. Teodozjopolis i Amidę. Jednakże wodzom Anastazjusza udało się opanować groźną sytuację i po kilku latach bezowocnych walk w 506 r.