Był nazywany „Kalle”.

thumb|Gustafsson w dzieciństwie (1916) Matka, Anna Lovisa (z domu Karlsson; 1872–1944), była trzecim z ośmiorga dzieci i najstarszą córką Johana Augusta Karlssona (1848–1938) oraz Emmy Kristiny Adamsdotter (1849–1918). Miała lapońskie korzenie; urodziła się w Högsby. Przez większą część tygodnia pracowała jako sprzątaczka w domach położonych w zamożniejszej części miasta. Wiosną 1898 zamieszkała z Gustafssonem przy Gotlandsgatan 4. Po narodzinach dwójki dzieci – Svena Alfreda (1898–1967) i Alvy Marii (1903–1926) – rodzina przeniosła się do kamienicy przy Blekingegatan 32. Zamieszkali na trzecim lub czwartym piętrze w dwu-, trzy- bądź czteropokojowym mieszkaniu. Ze względu na trudną sytuację ekonomiczną rodziny, pracodawca Gustafssona zaproponował mu, że adoptuje ich najmłodszą córkę, Gretę, lecz jego ofertę odrzucono. Szczególnie bliską więź nawiązała z matką, uważając ją za „centrum mojego życia”. Ojciec posiadał ogródek z owocami i warzywami nad jeziorem Årsta na przedmieściach, gdzie rodzina co tydzień jeździła trolejbusem, by hodować kwiatki, nawozić ziemię, pielić grządki i uprawiać warzywa.