W latach 2002–2005 po raz pierwszy pełnił funkcję sekretarza stanu w MSZ. Reprezentował słowacki rząd w Konwencie Europejskim. W 2003 kierował słowackim zespołem negocjującym warunki przystąpienia do NATO. W 2005 nominowany na ambasadora, objął wówczas placówkę dyplomatyczną w Niemczech. W 2009 został stałym przedstawicielem Słowacji przy Unii Europejskiej, zajmując to stanowisko do 2015. Po powrocie do kraju ponownie został sekretarzem stanu w Ministerstwie Spraw Zagranicznych. Funkcję tę pełnił do 2018, po czym powołano go na ambasadora Słowacji w Stanach Zjednoczonych.
W marcu 2020 partia Wolność i Solidarność rekomendowała go na stanowisko ministra spraw zagranicznych i europejskich w rządzie Igora Matoviča. Nie mógł jednak otrzymać nominacji w dacie powołania rządu – podczas nominacji przebywał wciąż w USA, co wiązało się z koniecznością odbycia po powrocie na Słowację kwarantanny z uwagi na pandemię COVID-19. Obowiązki ministra tymczasowo objął Richard Sulík. Ivan Korčok został zaprzysiężony w kwietniu 2020. Ustąpił z tej funkcji w trakcie kryzysu w koalicji w marcu 2021. Powrócił na ten urząd w kwietniu 2021 w utworzonym wówczas gabinecie Eduarda Hegera.