W latach 1989–2001 zasiadał w Sejmie. W X kadencji Sejmu PRL (do którego został wybrany z okręgu suwalskiego) przewodniczył Komisji Spraw Zagranicznych. Kierował nią także w trakcie I i II kadencji. Był też przewodniczącym Komisji Konstytucyjnej (1989–1991) oraz Komisji Prawa Europejskiego (2000–2001). W 2001 ubiegał się o reelekcję, kierowana przez niego UW w tych wyborach parlamentarnych nie przekroczyła wyborczego progu.
Po wyborach parlamentarnych w 1991 Lech Wałęsa nieformalnie powierzył mu sformowanie nowego rządu, jednak misja ta zakończyła się niepowodzeniem.
Po utworzeniu koalicji AWS-UW, 31 października 1997 objął stanowisko ministra spraw zagranicznych. W 1998 pełnił funkcję przewodniczącego OBWE. 12 marca 1999 w imieniu rządu polskiego złożył dokumenty ratyfikacyjne Paktu Północnoatlantyckiego (NATO) w depozycie rządu Stanów ZjednoczonychTraktat ratyfikował 26 lutego 1999 prezydent Aleksander Kwaśniewski.. W 2000 stworzył nową strategię polityki RP wobec Federacji Rosyjskiej. Polegała ona na jednoczesnym wspieraniu demokratycznych dążeń krajów postkomunistycznych oraz pokojowym rozwiązaniu kwestii spornych na linii Warszawa-Moskwa.