W roku 1957 Khouri przeniósł studio i wytwórnię do nowego lokalu przy 220 Foreshore Road (obecnie Marcus Garvey Drive), zmieniając jednocześnie nazwę całego przedsięwzięcia na Federal Records. Zarówno Records Limited, jak i Times Records, zostały wówczas oddziałami Federal, które do końca lat 70. pozostawało jednym z najważniejszych ośrodków rozwoju muzyki jamajskiej. W roku 1977, podobnie jak duża część jamajskiej klasy średniej, Khouri wyemigrował do Stanów Zjednoczonych w obawie przed reformami socjalistycznego rządu premiera Michaela Manleya, zmierzającymi do wprowadzenia na wyspie komunizmu na wzór kubański. Wraz z żoną zamieszkał w Miami, zaś prowadzenie interesu pozostawił dwóm najstarszym synom: Paulowi i Richardowi, jednak pod ich kierownictwem wytwórnia popadła w długi. W listopadzie 1980 roku, po przegranych przez Manleya wyborach, powrócił na Jamajkę by podjąć próbę ratowania Federal Records; ostatecznie, w roku 1981, zdecydował się sprzedać Federal wytwórni Tuff Gong Boba Marleya i przejść na emeryturę.