Po powrocie z podróży Ramsay zdecydował się rozpocząć karierę polityczną. Pierwsza próba była nieudana. W 1835 r. przegrał w wyborach do Izby Gmin w okręgu Edynburg. Dopiero w 1837 r. udało mu się wygrać wybory w okręgu Haddingtonshire. Rok wcześniej, 21 stycznia 1836 r. Ramsay poślubił lady Susan Hay (ur. 1817, zm. 6 maja 1853), córkę George’a Haya, 8. markiza Tweeddale, i lady Susan Montagu, córki 5. księcia Manchester. James i Susan mieli dwie córki: Susan Georgiana Ramsay (zm. 22 stycznia 1898), dama Imperialnego Orderu Korony Indii, żona Roberta Bourke'a, 1. barona Connemara, i podpułkownika Williama Hamiltona Brouna, nie miała dzieci Edith Christian Ramsay (zm. 28 października 1871), żona Jamesa Fergussona of Kilkerran, 6. baroneta, nie miała dzieci