Muzyka i tekst „Cardigan” to tęskna, powoli rozwijająca się piosenka z pogranicza soft rocka, folku oraz indie rocka, oparta na oszczędnej aranżacji złożonej z delikatnego pianina i rytmicznego sampla perkusyjnego, zanurzona w nastrojowej atmosferze. Utwór został napisany w tonacji Es-dur i ma umiarkowanie szybkie tempo 130 uderzeń na minutę. Skala głosu Swift w tym utworze rozciąga się od E♭3 do A♭4. Tekst piosenki wyraża pewność siebie, ale jest przy tym „nieco gorzki”. Swift przekazała fanom, że „Cardigan” opowiada o „utraconym romansie i o tym, dlaczego młodzieńcza miłość tak trwale zapisuje się w naszej pamięci”. Jest to jeden z trzech utworów na albumie, które przedstawiają ten sam trójkąt miłosny z trzech różnych perspektyw i w różnych momentach życia bohaterów – pozostałe dwa to „August” oraz „Betty”.
W piosence Swift śpiewa z perspektywy fikcyjnej postaci o imieniu Betty, która wspomina rozstanie i niegasnący optymizm w relacji z kimś o imieniu James. Promując limitowaną edycję singla, Swift przekazała fanom, że wysłała pierwotną notatkę głosową z procesem pisania utworu do Aarona Dessnera 24 kwietnia 2020 roku, po zapoznaniu się ze stworzonymi przez niego ścieżkami instrumentalnymi.