Naukę zaczął u wiejskiej nauczycielki, a następnie uczęszczał do szkoły w Duns (wówczas Dunse), gdzie uczył go Cruickshank, nauczyciel ceniony za erudycję. Przed ukończeniem dziesiątego roku życia był najlepszym uczniem w szkole. Mniej więcej w tym czasie ubóstwo rodziny przerwało jego naukę: oddano go do warsztatu tkackiego, w relacji syna zaś „skazano na poniżające życie tkacza”. Epizod trwał krótko, bo Cruickshank zaproponował rodzicom dalsze uczenie chłopca bezpłatnie, a około trzynastego roku życia oświadczył im, że nie ma go czego więcej uczyć, i zatrudnił go w szkole jako młodszego nauczyciela. W tym samym mniej więcej czasie Brown zerwał ze wspólnotą religijną rodziców: wysłuchał kazania w świątyni Kościoła Szkocji, a wezwany przed zgromadzenie secesjonistów, zamiast przyjąć upomnienie, wystąpił z niej.
Edynburg: teologia i medycyna