W latach 1980–1983 rywalizował z Hulkiem Hoganem, przy czym (w przeciwieństwie do ich rywalizacji w późnych latach 80.) André odgrywał rolę protagonisty, zaś Hogan – antagonisty. Po wygranej przez olbrzyma walce w Shea Stadium, Hogan wykonał na nim body slam. Ich rywalizacja kontynuowana była w Japonii, gdzie ich role się zamieniły, a do feudu dołączył także Antonio Inoki. W 1981 André wdał się w rywalizację z Killer Khanem. Oficjalnie, Khan złamał kostkę olbrzyma podczas ich walki, 2 maja 1981, zeskakując wprost na nogę przeciwnika z górnej liny. W rzeczywistości, André złamał kostkę wstając z łóżka rano tego samego dnia. Kontuzja stała się częścią scenariusza, prowadzącego do walki rewanżowej – ta odbyła się 20 lipca i zakończyła się podwójną dyskwalifikacją. 14 listopada André pokonał Khana w Mongolian Stretcher matchu (odmiana Stretcher matchu). W następnym roku rywale kilkukrotnie zawalczyli dla japońskich federacji.

W 1984 André podpisał stały kontrakt z Vince’em McMahonem Jr. – nowym właścicielem World Wide Wrestling Federation. McMahon pozwolił mu jednak pracować także dla New Japan Pro-Wrestling (NJPW).