W rezultacie musiał sprzedać dom i drukarnię W. C. Fabritillsowi (obecnie największa firma wydawnicza w Norwegii). Niedługo potem Guldberg wystąpił ze spółki, a Dzwonkowski związał się na trzy lata z C. A. Dybwadem. W 1847 został spłacony przez tego ostatniego i założył własną księgarnię nakładową. W 1842 r. Dzwonkowski razem z innymi osobami z rady katolików mieszkających w owym czasie w stolicy Norwegii wystosował do króla Karla Johana list prośbą o oficjalne uznanie społeczności katolickiej. Pozwolenie na założenie kościoła i przybycie księży zostało udzielone w dekrecie królewskim w dniu 6 marca 1843 r. Wówczas przy ulicy Storgata 27 w domu Dzwonkowskiego urządzono kaplicę pod wezwaniem św.Olafa. W niedzielę Palmową 9 kwietnia 1843 r. odprawiono mszę świętą. Podczas wizyt w Christianii kaplicę tę odwiedzała szwedzka królowa. Przez cały czas utrzymywał kontakt z rodziną i krajem. W rezultacie w 1843 w trakcie pobytu u rodziców w Siennicy wciągnięty został przez swego brata Władysława do Związku Narodu Polskiego, w rezultacie 1844 musiał wraz z nim uciec z Królestwa Polskiego.