Ich praca ograniczona była też względami politycznymi, podczas gdy Legge i inni mu współcześni wykorzystywali sukcesy brytyjskie w (siłowym) otwieraniu Chin.
Po wygranej I wojnie opiumowej Wielka Brytania przejęła Hongkong i Legge przeniósł się do nowej kolonii, gdzie mieszkał przez następne 30 lat. W tym okresie odbył kilka podróży do Anglii (1846-48, 1857-58 i 1867-70) i jedną (1865) do Japonii. W 1852 zmarła jego żona. Wysłał córki na naukę do Szkocji, ale sam pozostał w Hongkongu. Podczas drugiego pobytu w Anglii ożenił się powtórnie, z wdową po misjonarzu, Hanną Mary Willetts. Pracował tam m.in. nad swoim cyklem tłumaczeń, uznając je za bardzo istotne dla akomodacji nauczania chrześcijańskiego do kultury chińskiej. Protestanccy misjonarze w tym okresie, o silnym nastawieniu ewangelikalnym, w większości nie byli zainteresowani poznaniem kultury chińskiej. Legge był jednym z kilku, którzy mieli przeciwne zdanie. Rozpoczął m.in. ponownie dyskusję nad właściwym tłumaczeniem pojęcia „Bóg” na chiński – ostatecznie jego propozycja by używać pojęcia Shangdi (上帝;