W październiku 1929 generał Groener naciskał ministerstwo spraw zagranicznych, aby rozwiązało z Watykanem kwestię kapelanów wojskowych, którzy nie mieli możliwości udzielania sakramentów chrztu i małżeństwa bez uprzedniego uzyskania pozwolenia od lokalnego księdza lub biskupa. Groener chciał, aby wojsko miało swojego własnego biskupa zamiast bycia uzależnionym od lokalnych ordynariuszy i to właśnie ta szczególna kwestia zaznaczyła istotny krok w dyskusjach, które ostatecznie będą zrealizowane w konkordacie z Watykanem. W marcu 1930 nowy papieski sekretarz stanu, kardynał Pacelli, zasygnalizował, że Watykan byłby zainteresowany konkordatem z Rzeszą w przypadku jakichkolwiek zmian w konstytucji Rzeszy, które mogłyby mieć niekorzystny wpływ na ważność konkordatów już zawartych z poszczególnymi landami.
Dyskusje pomiędzy obiema stronami miały miejsce pomiędzy 1931 a 1932 r. W pewnym momencie przedstawiciele Rzeszy wskazali, że Włochy mają wojskowego arcybiskupa, na co kardynał Pacelli odpowiedział, że jest tak, gdyż Włochy mają podpisany pełny konkordat z Watykanem.