była to jedyna szkoła, z której Patricka nie wyrzucono. Później uczęszczał do King’s School w Canterbury, z której został wydalony, kiedy przyłapano go na trzymaniu się za rękę z córką ogrodnika. Ostatni raport z tej szkoły stwierdzał, że młody Leigh Fermor jest „niebezpieczną mieszaniną wyrobienia i braku rozwagi.”. Kontynuował samodzielnie kształcenie poprzez lektury w starożytnej grece, łacinie, utworów Szekspira oraz naukę historii, z zamiarem wstąpienia do Royal Military College w Sandhurst. Z biegiem czasu zrezygnował uznając, że chce zostać pisarzem i w lecie 1933 przeprowadził się na Shepherd Market w Londynie, dzieląc mieszkanie z kilkoma przyjaciółmi. Wkrótce musiał stawić czoła wyzwaniom typowym dla życia młodego autora w Londynie w obliczu szybko topniejących środków finansowych, co skłoniło go do podróżowania po Europie„A Time of Gifts. On Foot to Constantinople: from the Hook of Holland to the Middle Danube.”, wyd. John Murray (Publishers), Londyn, 2004..
Wczesne podróże W wieku 18 lat postanowił pieszo przewędrować Europę, od Hoek van Holland do Konstantynopola.