W pierwszej reprezentacji Nigerii Agu zadebiutował 27 sierpnia 1989 roku w przegranym 0:1 meczu z Kamerunem rozegranym w ramach eliminacji do MŚ we Włoszech. Na boisko wszedł z ławki rezerwowych zmieniając Davida Ngodighę, który doznał wstrząsu mózgu.
W 1990 roku Nigeria nie pojechała na Mistrzostwa Świata do Włoch. Wystąpiła za to w Pucharze Narodów Afryki i Agu był jej pierwszym bramkarzem. W pierwszym meczu "Super Orły" zostały rozgromione 1:5 w meczu z gospodarzami, Algierią, ale aż do finału Agu nie puścił gola. Dopiero tam w meczu o złoto w Algierze pokonał go Rabah Madjer i Algieria została mistrzem Afryki.
W 1992 roku Alloysius był pierwszym bramkarzem kadry na Puchar Narodów Afryki. Nigeria dotarła do półfinału, ale tam poległa 1:2 z Ghaną. Wygrała za to mecz o 3. miejsce z Kamerunem (2:1).
W 1994 roku pierwszym bramkarzem Nigerii za czasów selekcjonera Clemensa Westerhofa był już Peter Rufai, a Agu przypadła rola rezerwowego. Tak było zarówno w Pucharze Narodów Afryki, w którym to Nigeria zdobyła złoto po zwycięskim 2:1 meczu z Zambią oraz w Mistrzostwach Świata w USA.