Na początku XX wieku Swan Island Trading Company założyła tu plantację 15 tys. palm kokosowych, lecz przedsięwzięcie upadło po spustoszeniu wyspy przez huragany w latach 1928-32. W 1938 roku United States Weather Bureau założyło tutaj stację meteorologiczną, która początkowo działała w okresach występowania w tym regionie huraganów, zaś od 1940 roku była czynna na stałe. thumb|left|230px|Widok na wyspy Swan od wschodu W 1960 roku Stany Zjednoczone zainstalowały na wyspach radiostację wyposażoną w nadajnik radiowy o mocy 50.000 W, która miała za zadanie nadawanie audycji propagandowych dla ludności Kuby. Formalnym właścicielem rozgłośni była nowojorska spółka Gibraltar Steamship Company, a stacja została nazwana Radio Swan. Nadawała między innymi relację z inwazji w Zatoce Świń.
Honduras występował wobec Stanów Zjednoczonych z roszczeniami zwrotu wysp już od 1920 roku, argumentując, że gdy Kolumb wylądował na wyspach w 1502 roku, automatycznie uczynił z nich część hiszpańskiej kolonii, której Honduras jest spadkobiercą. USA przeciwstawiały się żądaniom, bowiem ich zdaniem po wylądowaniu na nich w 1857 roku George White’a Stany Zjednoczone uznały zdobycie wysp dla swojego kraju. W 1863 Ustawa o wyspach z guanem miała przypieczętować taki stan spraw.