Kariera Rexa Gildo nabrała tempa od 1972, kiedy zaśpiewał piosenkę pt. Fiesta Mexicana, która stała się hitem wszech czasów na niemieckiej liście przebojów i trwale zapisała się w historii niemieckiej muzyki szlagierowej. Piosenka ta doczekała się wielu coverów. Innymi największymi przebojami zaśpiewanymi przez niego są: Marie, der letzte Tanz ist nur für dich, Der letzte Sirtaki, Du, wenn ich je deine liebe verlier oraz Hasta la vista (schönes Mädchen weine nicht).

W 1981 nagrał w telewizji ZDF program Gestatten: Rex Gildo. W tym samym roku osiągnął także sukces z piosenką pt. Du, wenn ich je deine liebe verlier napisaną przez Hanne Haller. W 1985 r. nagrał swoją wersję piosenki zespołu Modern Talking (Do you wanna) pt. Du ich lieb dich przy współpracy z artystami tego zespołu, czyli Dieterem Bohlenem oraz Thomasem Andersem, która jednak nie przyniosła mu większego sukcesu. Następnie podjął współpracę z Uwe Busse (producentem zespołu Die Flippers) oraz Karlheinzem Rupprichem i nagrał takie piosenki jak Mexikanische Nacht oraz Was ist schon eine Nacht.