Migrację do Afryki Zachodniej organizowano pod auspicjami Amerykańskiego Towarzystwa Kolonizacyjnego (ACS), w celu przeniesienia wolnych osób pochodzenia afrykańskiego ze Stanów Zjednoczonych. Po przybyciu na miejsce Brander stał się jednym z tak zwanych Amerykanoliberyjczyków. Ta grupa z czasem przejęła władzę w kolonii z rąk białych, amerykańskich agentów. Z tym właśnie procesem oraz z jego długofalowymi skutkami wiązała się cała działalność publiczna Brandera.
Przybycie do Afryki oraz działalność polityczna w kolonii Znalazł się na pokładzie statku „Elizabeth”, pierwszego okrętu transportującego czarnoskórych Amerykanów do punktu docelowego ich podróży. Z uwagi na pionierski charakter tego właśnie rejsu „Elizabeth” nazywany jest niekiedy czarnym Mayflower. Do wybrzeży Afryki Zachodniej dotarł 9 marca 1820. Wyszedł na ląd w sierraleońskim Freetown. Optymistyczne relacje Brandera na temat sytuacji na miejscu nakłoniły do emigracji ze Stanów Zjednoczonych także jego ojca oraz dwóch braci.