W okresie późniejszym Murraya i Bella połączyła przyjaźń, a Bell wprowadził Murraya do londyńskiego towarzystwa filologicznego Philological Society.
W 1859 roku towarzystwo archeologiczne w Hawick zainteresowało się filologią, a w szczególności historią i różnorodnością angielskiego w regionie Hawick. Murray rozpoczął badania dialektów z południowych hrabstw Szkocji, nauczył się gaelickiego i stworzył klucz fonetyczny dla Etymological Dictionary of the Scottish Language (1808) Johna Jamiesona. Rozpoczął również naukę staroangielskiego, a także studiował język gocki na bazie Srebrnej Biblii przełożonej na gocki przez Wulfilę.
W 1862 roku Murray poślubił Margaret (Maggie) Scott (1834–1865), dyrektorkę szkoły dla dzieci. W 1864 roku urodziła się ich córka, która zmarła w tym samym roku na gruźlicę. Z uwagi na zły stan zdrowia Margaret, Murrayowie musieli zmienić klimat i wyprowadzili się do Londynu, gdzie Murray otrzymał posadę urzędnika w Chartered Bank. Margaret zmarła na gruźlicę w 1865 roku. Murray ożenił się ponownie w 1867 roku z Adą Agnes Ruthven (1845–1936), a drużbą był Alexander Graham Bell.