Jego matka zmarła na chłoniaka Hodgkina w 1921 roku, gdy Rudolf miał czternaście lat, a ojciec ożenił się około 1924 roku z Else Hermann, szwagierką dramaturga . Rodzina była żydowska, lecz , a Peierls i jego rodzeństwo zostali ochrzczeni jako luteranie. Po osiągnięciu pełnoletności Peierls wystąpił z Kościoła. Od 1928 roku był bezwyznaniowy.
Peierls rozpoczął naukę w szkole z rocznym opóźnieniem, ponieważ potrzebował okularów, a rodzice obawiali się, że je zgubi lub stłucze. Po dwóch latach w miejscowej szkole przygotowawczej wstąpił do tamtejszego , Humboldt Gymnasium, gdzie spędził kolejne dziewięć lat i w 1925 roku zdał egzaminy . Chciał studiować inżynierię, ale rodzice, którzy wątpili w jego zdolności praktyczne – nosił okulary i brakowało mu zręczności – podsunęli mu raczej fizykę. Praktyka, którą odbył potem w fabryce AEG, utwierdziła go w zamiarze studiowania fizyki teoretycznej. O to, czy wybrać fizykę doświadczalną, czy teoretyczną, pytał wcześniej znajomego ojca, chemika Fritza Habera. Ten wypytał go o ostatnie lektury i orzekł, że najlepiej sprawdzi się w pracy doświadczalnej. Studia rozpoczął na Uniwersytecie Fryderyka Wilhelma w Berlinie, gdzie słuchał wykładów Maxa Plancka, Walthera Bothego i Walthera Nernsta. Wśród jego kolegów ze studiów byli i , występująca wówczas pod panieńskim nazwiskiem Käte Sperling.