Przed swoją śmiercią Lambert miał rzekomo zgromadzić spory majątek, który uzyskał ze sprzedaży tłuszczu słoni morskich i foczych futer. Pogłoski o ukrytych kosztownościach rozpuszczał Currie - ocalały towarzysz Lamberta. Nigdy jednak nie wyjawił miejsca, gdzie miałyby być one schowane. Umarł w 1816 w wyniku zatrucia alkoholem, który w zamian za informacje dotyczące miejsca ukrytego skarbu dostarczali mu stacjonujący na wyspie żołnierze. Legenda o znajdujących się gdzieś na wyspie złotych suwerenach utrzymuje się do dziś.
W 1812 wybuchła wojna brytyjsko-amerykańska i wyspy pełniły funkcje bazy dla amerykańskich krążowników “polujących” na brytyjskie statki handlowe. Te i inne względy doprowadziły brytyjski rząd, ponaglany przez lorda Charlesa Somerseta (późniejszego gubernatora Kraju Przylądkowego), do decyzji o wzięciu wysp w posiadanie jako zależnych od Przylądka. Formalna proklamacja aneksji została uchwalona 14 sierpnia 1816.
Również w 1816 wydarzyła się pierwsza duża tragedia w historii wyspy. Statek HMS Julia zderzył się z rafą, która potem została nazwana "Rafą Julii".