Kelley wspierała lub kierowała wieloma organizacjami społecznymi, m.in.: National Child Labor Committee, National Consumers League, National Conference of Social Workers, Amerykańskie Towarzystwo Socjologiczne, National American Woman Suffrage Association, NAACP, Międzynarodowa Liga Kobiet na rzecz Pokoju i Wolności, Intercollegiate Socialist Society.
Na prośbę Williama English Wallinga i Mary White Ovington Kelley została członkiem założycielem NAACP. Jako członek zarządu należała do komisji ds. nominacji, budżetu, federalnej pomocy dla edukacji, przeciwdziałania linczom i nierówności wydatków na fundusze szkolne. Według W.E.B. Du Bois, Kelley była dobrze znana z zadawania konkretnych pytań w celu znalezienia sposobu działania.
Po premierze Narodziny narodu Kelley i inni liderzy NAACP demonstrowali w wielu miastach przeciwko filmowi, który przedstawiał rasistowską interpretację historii osób czarnoskórych w Stanach Zjednoczonych. W 1923 Kelley walczyła o przyjęcie Krajowego Stowarzyszenia Kobiet Kolorowych jako członków Wspólnego Komitetu Kongresowego Kobiet, który powstał w 1920. Udało jej się to w styczniu 1924.