Opisywał „krajobraz fińskiej duszy”, czerpiąc z tragikomedii w stylu Antona CzechowaKalle Kinnunen, Tämä vaikea elämä, Image, 2014, s. 69–71.. Sprzeciwiał się odczytywaniu jego piosenek przez pryzmat własnego życiorysu i zazwyczaj nie tłumaczył znaczenia tekstów nawet własnym członkom zespołu.

Życie prywatne i ostatnie lata Artysta przez większość życia mieszkał w Helsinkach, by na ostatnie lata powrócić do rodzinnego Espoo. Ożenił się stosunkowo młodo i miał dwie córki. Jego siostra, Haije Sundqvist, regularnie udzielała się wokalnie w nagraniach zespołu. Gösta był wielkim fanem i taktykiem piłki nożnej – od lat 80. prowadził klub Johanneksen Dynamo, wprowadzając go do drugiej ligi fińskiej. Choć rzadko pił alkohol, od wczesnej młodości był namiętnym palaczem.

Sundqvist zmarł niespodziewanie na zawał mięśnia sercowego w swoim domu 16 sierpnia 2003 roku w wieku 46 lat. Po jego śmierci pozostali muzycy uznali dalsze funkcjonowanie Leevi and the Leavings bez niego za niemożliwe i zakończyli działalność.