Dopiero w 1840 większe zainteresowanie tym obszarem wykazała Wielka Brytania, która ostatecznie opanowała Walvis Bay i okolice w 1878. W 1884 włączyła go do Kolonii Przylądkowej (Cape Colony). Zajmując Walvis Bay, Brytyjczycy kierowali się dwiema przesłankami: zabezpieczeniem przystani dla brytyjskich statków na szlaku dookoła Przylądka Dobrej Nadziei oraz zachowaniem wpływów w obszarze niemieckiej ekspansji kolonialnej. W 1910 obszar Walvis Bay wszedł w skład Związku Południowej Afryki. W 1911 doszło do sporu wokół granic enklawy Walvis Bay z terytorium Niemieckiej Afryki Południowo-Zachodniej. Ostatecznie po brytyjsko-niemieckich uzgodnieniach jej powierzchnia wynosiła wówczas 1124 km².
W 1915 południowoafrykańskie wojska wyparły Niemców i przyłączyły Walvis Bay do kontrolowanej przez nich Afryki Południowo-Zachodniej. Wkrótce południowoafrykańską kontrolę nad tym terytorium potwierdziła Liga Narodów. W 1921 uchylono stan wojenny i przywrócono rządy cywilne, a Walvis Bay stało się integralną częścią wspomnianego terytorium. W 1971, wraz z pojawiającymi się żądaniami niepodległości ze strony Afryki Południowo-Zachodniej, RPA podjęło decyzję o przekazaniu kontroli nad Walvis Bay władzom Prowincji Przylądkowej.