W latach 1967–1970 był sekretarzem Komitetu Warszawskiego partii, w KW pełnił uprzednio funkcje zastępcy kierownika wydziału i instruktora. W okresie od lipca 1970 do grudnia 1971 był I sekretarzem KW PZPR w Gdańsku. Od 1976 do 1980 był I sekretarzem Komitetu Warszawskiego PZPR i z racji pełnionej funkcji partyjnej przewodniczącym Stołecznej Rady Narodowej. W latach 1964–1971 był zastępcą członka, a od 1971 członkiem Komitetu Centralnego PZPR. W okresie 1976–1980 pełnił funkcję jego sekretarza, a od lutego do grudnia 1980 był członkiem Biura Politycznego KC PZPR.

Od 22 grudnia 1971 do 28 maja 1975 był ministrem budownictwa i przemysłu materiałów budowlanych, a następnie do 2 grudnia 1976 był wicepremierem.

W latach 1976–1985 był posłem na Sejm PRL VII i VIII kadencji.

Alojzy Karkoszka zmarł po ciężkiej chorobie 20 sierpnia 2001. 29 sierpnia został pochowany w grobie urnowym na cmentarzu Wojskowym na Powązkach (kwatera E-12-14).