Mieszkali między innymi w Kansas City i w Los Angeles, gdzie w pewnym okresie posiadali trzy restauracje. Jej rodzice rozwiedli się, gdy miała 11 lat. Bruce Edward Bliss nie widział córki przez 17 lat. W 1927 Mildred powróciła z matką do Kansas City.
Od najmłodszych lat interesowała się sportem. Trenowała piłkę nożną i bieg na bieżni. W 1929, gdy miała 14 lat, miał miejsce wielki kryzys finansowy, zwany „czarnym czwartkiem”. W związku z tym Bliss przerwała edukację w liceum na pierwszym roku i razem z matką zamieszkała w bursie. Rozpoczęła pracę jako stenografka, a jej matka jako kucharka w hotelu. Później Mildred Bliss pracowała przez dwa lata jako kelnerka w rządowej restauracji w rezerwacie Indian z plemienia Zuni w Black Rock w Nowym Meksyku.
W wieku 17 lat poślubiła Josepha Martina Shaffera, który był prawie dwa razy starszy od niej i wróciła z nim i z matką do Kansas City. W 1933 wszyscy stali się właścicielami małej przydrożnej restauracji o nazwie B&S Cafe. Bertha Bliss zajmowała się gotowaniem, a Mildred Bliss i jej mąż byli kelnerami i pomocnikami kuchennymi. Przyszła zawodniczka pracowała 12 godzin dziennie przez 7 dni w tygodniu, zarabiając 4 dolary amerykańskie miesięcznie. Bliss przyznała później, że była zdesperowana i wyszła za mąż tylko po to, by nie pracować dłużej w rezerwacie.