Brixton zaczęło być zasiedlane dopiero od początku XIX wieku. Otwarcie mostu Vauxhall w 1816 roku umożliwiło dogodne połączenie Brixton z centrum Londynu. W latach 60. pociągi przewoźnika London, Chatham and Dover Railway zaczęły kursować przez dzielnicę, a w kolejnych dekadach Brixton było znane jako przedmieście zamieszkiwane przez klasy średnie. W latach 80. tego samego wieku ulica Electric Avenue została pierwszą w całym Londynie wyposażoną w latarnie uliczne. W tamtym czasie przy głównych ulicach Brixton zaczęto budować duże, drogie domy.
Od początku XX wieku do dzielnicy zaczęło napływać wielu nowych mieszkańców i w latach 20. Brixton stało się największym centrum handlowym południowego Londynu, oferującym także liczne kina, teatry i puby. W trakcie II wojny światowej okolica jednak została dotkliwie zbombardowana, co pogorszyło warunki mieszkalne. W 1948 roku, na pokładzie statku „Empire Windrush”, do Brixton sprowadziła się pierwsza fala powojennych imigrantów z Karaibów. W 50. rocznicę tego wydarzenia, plac położony pomiędzy ratuszem gminy Lambeth a biblioteką Tate otrzymał nazwę Windrush Square.