Kiedy Thomas Fell wrócił do domu, został namówiony przez żonę i kilka innych osób, aby posłuchać Geogre'a Foxa, który z powodzeniem odwoływał się do jego proparlamentarnych sympatii. Thomas Fell nigdy nie przekonał się w pełni do nauczania G. Foxa, ale wyraził zgodę na to, aby jego dom służył za miejsce spotkań dla pierwszych kwakrów. Wśród nich byli m.in. Alice i Thomas Curwenowie, misjonarze i kaznodzieje, pochodzący z pobliskiego Baycliff, którzy prowadzili ożywioną działalność w Furness, następnie w Nowej Anglii, na Barbados i Nevis, a potem w Huntingdonshire i innych częściach Anglii. Spotkania odbywały się w Swarthmoor Hall do 1691 roku, kiedy to niedaleko wzniesiony został dom spotkań.
Thomas Fell zmarł w 1658 roku. Jedenaście lat później George Fox ożenił się z owdowiałą Margaret Fell i kiedy nie podróżował, od czasu do czasu mieszkał w posiadłości. George Fox zmarł w Londynie w 1691 roku, Margaret Fox zaś w 1702 roku w Swarthmoor Hall.
Kwakrzy Londyńskie Spotkanie Roczne (ang. London Yearly Meeting) w 1951 roku zakupiło rezydencję za 9 tysięcy funtów i do dziś należy ona do kwakrów.