W 1954 Karvonen startował razem w pięciu maratonach w ciągu ośmiu miesięcy i zajął pierwsze miejsce w rocznym rankingu Track and Field News.
W sierpniu 1955 Karvonen był drugi podczas mistrzostw Finlandii w maratonie, cztery minuty za Paavo Kotilą. W ciągu reszty sezonu nie przegrał żadnego biegu. We wrześniu wygrał mistrzostwa Skandynawii w maratonie, w październiku był pierwszy w Maratonie Ateńskim, a na koniec roku zwyciężył w grudniowym Maratonie w Fukuoce. Przez drugi rok z rzędu był najlepszym maratończykiem na świecie według listy Track and Field News.
Na mistrzostwach Finlandii w maratonie w sierpniu 1956 Karvonen był dopiero trzeci za Paavo Kotilą i Eino Oksanenem. Jednak w tym biegu poprawił swój rekord życiowy (2:18:56), który pozostał jego najlepszym osiągnięciem do końca kariery. Podczas Igrzysk Olimpijskich Karvonen był najlepszym z Finów i ukończył bieg na trzecim miejscu. Dwanaście kilometrów przed metą Karvonen był jeszcze na drugim miejscu za Alainem Mimounem. Bieg był rozgrywany przy bardzo gorącej pogodzie i później Karvonen przyznał, że był to najbardziej bolesny start w jego karierze. Karvonen cierpiał przez ostatnie kilometry, jednak tylko Franjo Mihalić był zdolny do wyprzedzenia Fina. Powrót do pełnej sprawności Karvonena potrwał kilka miesięcy.