Po przyznaniu Niemcom organizacji letnich igrzysk olimpijskich w 1936 roku w Berlinie, działacze sportowi skupieni wokół Diema i Theodora Lewalda (1860–1947) założyli w styczniu 1933 roku komitet organizacyjny, którego generalnym sekretarzem został Diem. Po dojściu nazistów do władzy w marcu 1933 roku, Diem został uznany za „politycznie niepewnego” (niem. „politisch unzuverlässig“) i urlopowany z wyższej szkoły sportowej. Niemniej jednak, udało się mu zachować funkcję sekretarza generalnego igrzysk.
Diem zrealizował własną koncepcję organizacji olimpiady, wprowadzając wiele innowacji. Z jego inicjatywy płomień olimpijski na igrzyska zapalono na stadionie w antycznej Olimpii i przeniesiono przez olimpijską sztafetę do Berlina, gdzie uroczyście dokonano zapalania znicza olimpijskiego. Zapoczątkowano w ten sposób nowożytną tradycję ceremonialnego zapalania ognia olimpijskiego w Olimpii i jego przenoszenia przez sztafetę do miejsca rozgrywania igrzysk. Ponadto z inicjatywy Diema w 1936 roku postawiono dzwon olimpijski, a przed igrzyskami wystawiono sztukę teatralną „Olympische Jugend”.