Data i miejsce urodzenia Browna nie są pewne. Jego syn i biograf, William Cullen Brown, pisał, że ojciec przyszedł na świat „pod koniec 1735 albo na początku 1736 roku”, we wsi Lintlaws albo Preston w parafii Bunkle w hrabstwie Berwick. , autor wcześniejszego życiorysu (1795), powoływał się na relację Watta, rektora szkoły w Dumfries, według której Brown urodził się w 1735 albo 1736 roku. Nowsze opracowania podają zamiast daty urodzenia datę chrztu: podaje, że Brown został ochrzczony 17 maja 1735 roku w kościele parafialnym w Bunkle. Rodzice byli ludźmi ubogimi i należeli do secesjonistów, odłamu, który wystąpił z Kościoła Szkocji. Starsze relacje nie podają zawodu ojca, a syn Browna przypuszczał jedynie, że dziadek nie zajmował pozycji wyższej niż wyrobnik. Nowszy biogram w podaje natomiast, że ojcem Browna był Archibald Brown, tkacz z Lintlaws. Ojciec zmarł, gdy chłopiec miał około pięciu lat, a matka wyszła powtórnie za mąż za tkacza.