Konflikt z wodzami w 1205 roku Kolbeinn Tumason zarzucił biskupowi, że ten nie oddał mu pieniędzy, ale zgodnie z prawem kościelnym były to sprawy wyłącznej jurysdykcji kościelnej. Trzy lata później Tumason ze swoimi ludźmi wyruszył do Hólaru, aby wykonać wyrok na Guðmundurze za rzekome obcowanie z kobietą. Zwolennicy klanu Ásbirningar i biskupa starli się ze sobą pod Víðines. Kolbeinn Tumason został śmiertelnie ranny, na łożu śmierci napisał najsłynniejszy islandzki hymn „Heyr himna smiður“, w którym prosił Boga o przebaczenie. Mimo zwycięstwa, sytuacja w regionie była napięta i do 1209 Guðmundur został zmuszony do ucieczki z Hólaru. W 1214 roku udał się do Norwegii na polecenie tamtejszego arcybiskupa. Po czterech latach powrócił na Islandię. Poprzez działalność charytatywną ponownie zjednał sobie lokalnych mieszkańców. W niedługim czasie do Hólaru wraz ze swoimi ludźmi przybył Arnór Tumason, nowy wódz klanu Ásbirningar, brat Kolbeinna, który łatwo rozproszył zubożałych mieszkańców regionu, a biskupa pojmał w niewolę. Rok później został wypuszczony na wolność i wraz z kilkoma wiernymi udał się w pielgrzymkę po wyspie. W 1221 Arnór Tumason zmarł, a władzę w regionie Skagafjörður zdobył Tumi Sighvatsson, który uznał Hólar za swoje ziemie.