W czerwcu 1961 roku nawiązał stosunki dyplomatyczne z I sekretarzem KPZR Nikitą Chruszczowem, spotykając się z nim w Wiedniu. Chruszczow przedstawił wówczas projekt traktatu pokojowego pomiędzy RFN i NRD. Kennedy zgadzał się, że podpisanie memorandum umożliwiłoby współpracę pomiędzy Wschodem i Zachodem, jednak nie poruszył kwestii zjednoczenia Niemiec. W sierpniu wokół Berlina Zachodniego powstał Mur, a prezydent wysłał do RFN 40 tysięcy żołnierzy i zmobilizował 250 tysięcy rezerwistów. Kiedy w listopadzie w Stanach Zjednoczonych wizytował kanclerz RFN Konrad Adenauer, domagał się dostępu Niemiec do broni jądrowej. Kennedy oświadczył wówczas, że USA jest przeciwne pomysłowi przekazywania jakiemukolwiek krajowi głowic atomowych, ale jednocześnie nie będzie ingerować, jeśli dane państwo będzie chciało pozyskać broń jądrową na własną rękę. Wyrażał także zaniepokojenie remilitaryzacją NRD i zbyt dużym wpływem wojskowych w tym kraju, dlatego postanowił nie wycofywać wojsk z Berlina Zachodniego. 26 czerwca 1963 roku, wizytując w Niemczech, Kennedy wygłosił przemówienie, w którym zawarł słynny cytat „Ich bin ein Berliner”.