Około 1765 roku otworzył pensjonat dla studentów i ożenił się z córką edynburskiego mieszczanina nazwiskiem Lamond.
W kręgu Cullena
Do domu Williama Cullena, czołowego wówczas przedstawiciela edynburskiej szkoły medycznej, Brown trafił najpierw jako nauczyciel jego dzieci. Jego biegłość w łacinie okazała się dla Cullena cenna: profesor korespondował po łacinie z uczonymi całej Europy, a Brown, według relacji syna, pełnił przy nim funkcję łacińskiego sekretarza. Wersję tę odrzucał , biograf Cullena. Jego zdaniem opowieść o łacińskim sekretarzu była w całości wymysłem, a Cullen zatrudnił Browna wyłącznie jako nauczyciela pomagającego jego dzieciom w lekcjach łaciny. Cullen powierzał mu też wieczorne powtarzanie i objaśnianie porannego wykładu, udostępniając w tym celu własny rękopis. Brown z przywiązania do protektora nadał najstarszemu synowi imiona William Cullen.