Ojciec Clausa – (1860–1936) był najwyższym marszałkiem dworu (niem. Oberhofmarschall) Królestwa Wirtembergii, a po abdykacji króla Wilhelma II Wirtemberskiego w listopadzie 1918 roku zarządzał prywatnym majątkiem rodziny królewskiej do emerytury w 1928 roku. Matka – Caroline (1875–1956), z domu von Üxküll-Gyllenbrand, wnuczka feldmarszałka Augusta von Gneisenau (1760–1831) – była damą dworu i przyjaźniła się z królową (1864–1946). Claus był jednym z czterech synów – jego starszymi braćmi byli urodzeni w 1905 roku bliźniacy (1905–1944) i (1905–1964), brat bliźniak Clausa – Konrad Maria zmarł na drugi dzień po narodzinach.
Dzieciństwo i młodość Claus dorastał na zamku w Lautlingen. Ukończył prywatną szkołę podstawową w Stuttgarcie, gdzie od 1916 roku naukę kontynuował w . Wiele chorował i często opuszczał zajęcia szkolne. Przyjaźnił się przede wszystkim z przyjaciółmi starszych braci, m.in. (1904–1992), (1905–1984) i (1909–1943). Bracia von Stauffenberg interesowali się literaturą i poezją – zainteresowania wynieśli z domu, ojciec przyjaźnił się z Rainerem Marią Rilke (1875–1926) a wuj Bernhard Graf Uxkull-Gyllenband ze Stefanem George (1868–1933). Należeli do „nowych skautów” (niem. Neupfadfinder), jednej z grup niemieckiego ruchu młodzieżowego (niem. Jugendbewegung) na terenie szkoły, która była pod wpływem George Kreis.