Początkowo były to obozy prowizoryczne lub „dzikie” kierowane przez SA, które później zostały zlikwidowane (np. Oranienburg). Do wielkich obozów koncentracyjnych wybudowanych przez SS w Niemczech i Austrii funkcjonujących na początku II wojny światowej należały: Dachau, Sachsenhausen, Buchenwald, Flossenbürg, Mauthausen i kobiecy obóz koncentracyjny Ravensbrück.
Pierwszymi więźniami obozów koncentracyjnych byli więźniowie polityczni, których nazywano „więźniami prewencyjnymi” (Schutzhäftlinge dosł. uwięziony ochronnie). Należeli do nich komuniści, socjaldemokraci, nieprawomyślni liberalni dziennikarze i publicyści, a niekiedy także konserwatyści. W miarę jak sprzeciw wobec reżimu nazistowskiego malał do obozów trafiały coraz większe grupy rzekomych wrogów tego reżimu. Więźniowie polityczni zostali oznaczeni znakiem czerwonego trójkąta. Każda kategoria więźniarska otrzymała inny kolor trójkąta: kryminalistów oznaczono zielonym, więźniów aspołecznych czarnym, a homoseksualistów różowym. Trójkąty te należało przyszyć z przodu w górnej części pasiaka. Obok trójkąta naszywano również jasny materiał z nadrukowanym numerem więźnia.