W 1837 rozpoczął się spór arcybiskupa z władzami Królestwa Prus. Dunin jako ultramontanista, powołując się na brewe papieża Piusa VIII z 1830 ogłosił, że zawierając małżeństwo mieszane (katolicko-protestanckie), każda para musi złożyć deklarację, że dzieci bez względu na ich płeć zostaną wychowane w wierze katolickiej. Było to sprzeczne z prawem pruskim, które nakazywało aby w przypadku takich związków synowie przyjmowali wyznanie ojca, a córki wyznanie matki. Za to polecenie skazano Dunina na 6 miesięcy kary twierdzy oraz pozbawienie godności arcybiskupiej. Karę internowania rozpoczął 3 kwietnia 1839. Arcybiskup, uznając wyrok władz za bezprawne ingerowanie w sprawy Kościoła, opuścił Berlin i udał się do Poznania, gdzie został aresztowany, a następnie pod strażą odesłany do twierdzy kołobrzeskiej, skąd po 10 miesiącach więzienia zwolnił go nowy król Fryderyk Wilhelm IV. Podczas pobytu w Kołobrzegu arcybiskup Dunin mieszkał przy rynku w nieistniejącej już dziś kamienicy Schröderów. Dom ten w czasie uwięzienia metropolity stał się miejscem manifestacji i spotkań katolików polskich i niemieckich, którzy w każdą niedzielę zbierali się tłumnie przed oknami posesji, aby wysłuchać odprawianej przez Marcina Dunina mszy świętej.