Inspiracją do napisania „You Belong with Me” była podsłuchana przez Swift rozmowa telefoniczna członka jej zespołu z jego dziewczyną. Wspominała, że chłopak przyjął postawę obronną, gdy dziewczyna konfrontowała się z nim, co zainspirowało pierwsze wersy: „Rozmawiasz przez telefon ze swoją dziewczyną, jest zdenerwowana. Wyżywa się o coś, co powiedziałeś”. Z empatii do niego Swift wyobraziła sobie siebie jako postać „dziewczyny z sąsiedztwa”, skrycie zakochaną w bliskim przyjacielu, którego rozumiała, a który był w związku z popularną, lecz „wyniosłą, niedorzeczną i przecenianą dziewczyną”. Swift natychmiast zapisała fragmenty tekstu i rozwinęła pełną narrację podczas sesji pisania z Liz Rose. Swift zagrała Rose przedrefren oraz refren i zaśpiewała wersy: „Ona nosi krótkie spódniczki / Ja noszę koszulki”, które były jej ulubionymi fragmentami podczas pracy nad utworem.