Szybko włączył się w życie polityczne liberyjskiej kolonii, stając się wreszcie jednym z jej przywódców. Wielokrotnie wchodził w konflikty z białymi reprezentantami ACS. Starcia te przybierały niekiedy gwałtowny charakter, a wobec Brandera wysuwano oskarżenia o zachowania niemieszczące się w moralnych konwencjach epoki. Twierdzono na przykład, że podczas pobytu na sierraleońskiej wyspie Sherbro żył w związkach poliamorycznych. Jego pozycja w lokalnych strukturach władzy stopniowo ulegała wzmocnieniu. W sierpniu 1834 został wybrany zastępcą agenta reprezentującego ACS w kolonii. Od 10 maja do 12 sierpnia 1835, jako tymczasowo pełniący obowiązki agenta, kierował całością aparatu administracyjnego. Stanowisko zastępcy agenta opuścił jeszcze w 1835. W 1843 zasiadał w kolonialnym Sądzie Najwyższym. Nie skupiał się wszakże tylko na życiu politycznym, trudnił się dodatkowo handlem. Podobnie jak wielu sobie współczesnych przedstawicieli przybyłej z Ameryki Północnej liberyjskiej elity uważał ucywilizowanie afrykańskiego otoczenia za główny cel tak swego pobytu na kontynencie, jak i całej podejmowanej przez siebie aktywności publicznej.