Równolegle do kariery naukowej Kiełpiński zajmował się w okresie międzywojennym taternictwem i alpinizmem. Wspinał się od 1923, początkowo głównie z bratem Tadeuszem i przewodnikiem Jędrzejem Marusarzem Jarząbkiem, a w latach 30. także z Janem Dorawskim, Zbigniewem Korosadowiczem i Witoldem Paryskim. Brał udział w wielu pierwszych przejściach, m.in.: północną ścianą Skrajnej Jaworowej Turni, wschodnią ścianą Jaworowego Szczytu i północno–zachodnią ścianą Lodowego Szczytu w 1931 oraz północno-wschodnią ścianą Niżnich Rysów i lewą częścią wschodniej ściany Zadniej Baszty w 1933. W 1932 i 1937 wspinał się w Alpach, a w 1934 zorganizował pierwszą polską wyprawę w Atlas Wysoki. W latach 1930–1931 sprawował funkcję skarbnika sekcji taternickiej Akademickiego Związku Sportowego Uniwersytetu Jagiellońskiego, a w latach 1933–1934 sekretarza sekcji turystycznej Polskiego Towarzystwa Tatrzańskiego.