Historia Dwór jako Pontem Cartonencem wzmiankowany był około 1325 lub 1330 roku. W XVI wieku dwór ten, który mógł znajdować się na miejscu prawego skrzydła zamku, został prawdopodobnie opuszczony przez rolników, podczas gdy na miejscu obecnego lewego skrzydła wybudowano nowy dom. W 1598 roku majątek nabył Antoine de Buade de Frontenac.
Antoine de Buade de Frontenac sprzedał Pontchartrain w 1609 roku Paulowi Phélypeaux, sekretarzowi królowej Marii Medycejskiej. W 1613 roku syn Frontenaca, Henri de Buade, poślubił Annę Phélypeaux, córkę brata Paula Phélypeaux, Raymonda Phélypeaux.
Rodzina Phélypeaux mały|322x322px| Louis Phélypeaux, hrabia de Pontchartrain (1643–1727) Paul Phélypeaux był doradcą królewskim w 1610 r. i założycielem gałęzi rodu Phélypeaux - Pontchartrain, w której posiadaniu znajdował się zamek do 1802 r., objęty nadzorem rewolucji francuskiej. Jego syn Louis I Phélypeaux de Pontchartrain zlecił budowę głównego budynku w latach 1633–1662, jednak przypisywanie jego autorstwa François Mansartowi jest bezpodstawne.