W dzieciństwie uczęszczał do szkoły muzycznej, gdzie w wieku 12 lat poznał swoją przyszłą żonę Ewę, córkę prof. Konrada Jażdżewskiego, siostrę Krzysztofa, spokrewnioną także m.in. z Jadwigą Jasnorzewską i polarnikiem Jerzym Lechem Jasnorzewskim. W drugiej klasie liceum Piotr Goldstein zajął drugie miejsce w konkursie matematycznym miasta Łodzi i punktowane miejsce w konkursie fizycznym. W kolejnych dwóch latach był także laureatem olimpiady chemicznej, astronomicznej i matematycznej. Dzięki temu bez egzaminów dostał się na studia chemiczne na Wydziale Fizyki i Chemii Uniwersytetu Łódzkiego, a po roku także na kierunek fizyczny w tej samej jednostce; studia fizyczne kontynuował na Wydziale Fizyki Uniwersytetu Warszawskiego (UW). Oba kierunki skończył z wyróżnieniem. Jeszcze przed ukończeniem studiów wziął ślub z Ewą z Jażdżewskich, para doczekała się czworga dzieci.