Panowanie Brytyjczyków W 1796 roku fort został przekazany pod kontrolę Brytyjczyków. Zachował swoje znaczenie jako centrum żeglugowe, a po rozbudowie portu w Kolombo, na początku XX wieku, miasto to przejęło funkcje handlowe Galle. W XIX i na początku XX wieku fort stracił swoje znaczenie militarne. Niemniej jednak, Brytyjczycy nadal wykorzystywali fort jako swoje centrum administracyjne w południowej części wyspy.
W przeciwieństwie do Holendrów, Brytyjczycy nie niszczyli starych budynków. Te, które nie były już użyteczne, zostały przez nich zastąpione, jednak budynki z okresu holenderskiego, jeśli nadawały się do dalszego użytku, były wykorzystywane. Dzięki temu w całym kraju, w tym w Forcie Galle, zachowało się wiele przykładów architektury z czasów holenderskich i brytyjskich, podczas gdy niewiele budowli przetrwało z okresu portugalskiego.
Brytyjczycy wprowadzili szereg zmian w forcie, takich jak zamknięcie fosy, budowę nowych domów oraz latarni morskiej na bastionie Utrecht. Zrealizowali również budowę bramy pomiędzy Bastionem Moon a Bastionem Sun. Wieża, wzniesiona w 1883 roku, miała na celu uczczenie jubileuszu panowania królowej Wiktorii.