Ogrodnik odrzekł: „Mój czcigodny Ojcze, mając się tak dobrze, pochowasz całe Święte Kolegium”. Obaj wybuchnęli śmiechem, a pod wpływem wzruszenia Le Nôtre pocałował papieża w obie policzki, zanim ucałował jego pierścień. Książę de Créquy założył się z królem Ludwikiem XIV na tysiąc louis, że ta scena jest zmyślona; przegrał zakład, co utrwaliło przydomek ogrodnika „dobry człowiek Le Nôtre”. Prawdziwość tej anegdoty była jednak kwestionowana przez Voltaire’a, który opierał się na zeznaniach ucznia Le Nôtre i dodawał: „nie potrzebujemy tego świadectwa, by wiedzieć, że zarządca ogrodów nie całuje papieży i królów po obu policzkach”.
Od 1681 roku Le Nôtre uczestniczył jako wolny słuchacz w sesjach Królewskiej Akademii Architektury. Angażował się w urządzenie ogrodów zamku Meudon dla François Michel Le Tellier de Louvois w latach 1679–1691. Wbrew legendzie, będąc zbyt starym i przebywając w Rzymie w czasie ich projektowania przez Jules’a Hardouin-Mansarta w 1679 roku, nie brał udziału w pracach przy ogrodach zamku Marly-le-Roi, ostatnią rezydencją zamierzoną przez Ludwika XIV.