W latach 1932–1935 w związku z trudną sytuacją finansową wszyscy klerycy zostali umieszczeni w jednym miejscu – w Sucharach. Tam powstała również biblioteka seminaryjna. We wrześniu 1936 roku przybyła do Ołtarzewa 36-osobowa grupa kleryków-studentów teologii, zaś na wiosnę roku 1937 rozpoczęto budowę gmachu seminarium zaprojektowanego przez Alfonsa Wędrychowskiego. W ciągu dwóch i pół roku na miejscu dawnej Szkoły Rolniczej powstało skrzydło wschodnie i część środkowa oraz wzniesiono mury seminaryjnego kościoła, pod którym miała mieścić się sala teatralna.
Pod koniec sierpnia 1939 roku z wakacji powrócili wszyscy klerycy i mimo niepewnej sytuacji politycznej przygotowywano się do rozpoczęcia nowego roku szkolnego 1939/1940. 1 września 1939 roku przerwał wszystkie plany, zarówno nauki, jak i dalszej budowy gmachu seminaryjnego. 7 września po mszy św. wszyscy mieszkańcy domu opuścili Ołtarzew i wyruszyli na wschód, a wrócili małymi grupkami po miesiącu. Na krótki czas wojsko niemieckie zajęło cały budynek urządzając w nim szpital. Jednak w listopadzie rozpoczęły się w Ołtarzewie na nowo wykłady. Wieść o działalności seminarium ściągnęła do Ołtarzewa kleryków z innych polskich seminariów duchownych.