10 lutego 1967 ogłoszono zaręczyny księcia Karola z Joan Douglas Dillon, córką amerykańskiego polityka i dyplomaty, Clarence'a Douglasa Dillon oraz Phyllis Chess Ellsworth. Dillon była wcześniej zamężna - jej małżeństwo z Jamesem Brady Moseley zakończyło się rozwodem w 1955, a w 1963 uzyskała stwierdzenie jego nieważności. Para poznała się w Nowym Jorku. Związek księcia z kobietą rozwiedzioną, mającą dziecko i nie będącą pochodzenia szlacheckiego wzbudzał kontrowersje. Początkowo nie brano pod uwagę możliwości ślubu, ale w 1967 Dillon zaszła w ciążę. 1 marca 1967 Karol i Joan zawarli związek małżeński w kościele katolickim w Church of St. Edward the Confessor w Surrey. Dillon została pierwszą kobietą "z ludu", która weszła do luksemburskiej rodziny wielkoksiążęcej. 16 lutego 1967 wielki książę Jan potwierdził małżeństwo jako dynastyczne, a Dillon otrzymała tytuł Jej Królewskiej Wysokości Księżnej Joan z Luksemburga.
15 września 1967 w Nowym Jorku urodziła się córka pary, księżniczka Charlotte Phyllis Marie z Luksemburga. Dziewczynka otrzymała imiona na cześć wielkiej księżnej Luksemburga i po swoich babciach. Wkrótce rodzina przeprowadziła się do Luksemburga, gdzie zamieszkali na Zamku Fischbach.