Bp Olano y Urteaga wybudował pięć kościołów. Za jego pontyfikatu United States Navy oraz władze amerykańskie zaczęły lobbować za zastąpieniem hiszpańskich misjonarzy na Guamie amerykańskimi. Już w 1934 zablokowały wybór Hiszpana na następcę bpa Olano y Urteagi na stanowisku przełożonego guamskich kapucynów. W kolejnych latach amerykańscy kapłani zastępowali Hiszpanów. Od września 1941 na wyspie zostało jedynie dwóch kapucynów z Hiszpanii - bp Olano y Urteaga i br. Jesus de Begona. Trwał proces wyboru nowego wikariusza apostolskiego Guamu wśród duchowieństwa amerykańskiego. Sytuacja uległa jednak zmianie 10 grudnia 1941, gdy Guam został zdobyty przez wojska japońskie.
Początkowo bpa Olano y Urteagę spotykały ze strony Japończyków niewielkie ograniczenia. Jednak 7 stycznia 1942 został aresztowany i dołączył do internowanych Amerykanów. Podobnie jak inni więźniowie biskup był zmuszony przez Japończyków do upokarzających publicznych ćwiczeń. 10 stycznia na pokładzie „Kaiyō” więźniów przewieziono do Japonii. Jako obywatel państwa neutralnego został tam zwolniony i zamieszkał u hiszpańskich jezuitów w Tokio.
We wrześniu 1943 przez Goa wyjechał do brytyjskiego Bombaju. Wspomagał tamtejszego arcybiskupa oraz podróżował zbierając fundusze na guamską misję.