Zajął się szczegółowym eksplorowaniem górskiego terenu w rysunkach wykonanych ołówkiem srebrnym oraz w pastelach.
Powrót do Stanów Zjednoczonych Hartley powrócił z Niemiec w 1934 roku. Pracował krótko w kierownictwie Public Works of Art Project, ale po miesiącu zrezygnował z tej posady. Kolejne dwa lata spędził w Nowej Szkocji wraz z Masonami, francusko-kanadyjską rodziną rybaków. W tym czasie nawiązał bliższy kontakt z ich dwoma synami. Ich tragiczne utonięcie w 1936 roku bardzo go poruszyło stając się inspiracją do stworzenia serii portretów przedstawiających rodzinę, powszechnie uważanych za jego najbardziej poruszające dzieła, głęboko nacechowane emocjonalnymi podtekstami miłości i bólu straty. Ostatnie lata swojego życia Hartley spędził w Maine. Na początku 1939 roku powrócił do inspiracji Cézanne’m i jego znanych przedstawień góry Sainte-Victoire koło Aix-en-Provence. Idąc za jego przykładem namalował wówczas serię obrazów, w których głównym motywem stała się góra Mount Katahdin w Maine. W latach 1940–1941 stworzył serię obrazów, w których ukazał atletycznie zbudowanych mężczyzn, jak w Madawaska–Acadian Light-Heavy (1940), do którego pozował mu jego faworyzowany model, francusko-kanadyjski bokser wagi półciężkiej.