„Przyjaciele pana Brontë radzili mu, by posłał syna do szkoły, on jednak, mając w pamięci własną młodzieńczą siłę woli oraz sposób, w jaki umiał ją wykorzystać, wierzył, iż większą korzyść wyniesie Patrick z pozostania w domu, gdzie on sam mógłby go dobrze wykształcić, tak jak wcześniej kształcił innych”E. Gaskell, Życie Charlotte Brontё, s. 118–119..
thumb|Portret Emily Brontë namalowany przez Branwella.
Jego dwie najstarsze siostry, Maria i Elżbieta, zmarły tuż przed jego ósmymi urodzinami, w 1825 roku, a ich utrata odcisnęła się głęboko na jego dalszym życiu.
Branwell uczył się malarstwa od portrecisty Williama Robinsona, licząc że tak będzie mógł zarabiać na życie. W 1834 roku namalował portret swoich trzech sióstr, na którym pierwotnie również występował, lecz potem usunął swoją postać. Portret ten jest obecnie jednym z najbardziej znanych i cenionych wizerunków sióstr Brontë. Jest to także najpopularniejszy obraz Branwella: wisi w National Gallery w Londynie. W 1835 roku Branwell napisał list do Royal Academy of Arts, w którym prosił o przyjęcie go na studia z malarstwa. Według wcześniejszych biografów, wyjechał w tym celu do Londynu, lecz szybko przerwał naukę, lub też jej wcale nie rozpocząłA. Przedpełska-Trzeciakowska, Na plebanii w Haworth, s. 119–120..