Po powrocie do Anglii Harold wsparł w 1065 r. rebeliantów w Nortumbrii, którzy zbuntowali się przeciwko fiskalnej polityce brata Harolda, Tostiga. Miejsce obalonego brata zajął earl Morcar. To postępowanie Harolda sprawiło, że stworzył sobie niebezpiecznego wroga we własnej rodzinie.
Życie prywatne Ok. 1042 r. Harold ożenił się po raz pierwszy, z Ealdgyth, zwaną Łabędzioszyją (ok. 1025 – ok. 1086). Było to małżeństwo według tzw. prawa duńskiego, nieuznawane przez Kościół. Para miała następujące dzieci: Godwin (ur. 1049), prawdopodobnie kunigaitis żmudzki Godwinas Edmund (ur. 1049) Magnus, hipotetycznie utożsamiany z komesem wrocławskim z końca XI wieku Gytha (ur. 1053, zm. 1098 lub 1107), żona Włodzimierza II Monomacha, księcia ruskiego Gunhilda (ur. 1055, zm. 1091)
Mniej więcej w styczniu 1066 r. Harold oddalił Ealdgyth i poślubił Aldgyth, córkę earla Elfgara z Mercji oraz siostrę Morcara z Nortumbrii i Edwina z Mercji. Miał z nią dwóch pogrobowych synów urodzonych w listopadzie 1066 r. - bliźniaków Harolda i Ulfa. Najprawdopodobniej dożyli oni lat sprawnych i zmarli na wygnaniu.