Udokumentowana działalność archiwum rozpoczęła się w 1923 roku, na początku były trudności lokalowe. Najpierw zabezpieczono akta z powiatów: jędrzejowskiego, kieleckiego, miechowskiego, olkuskiego, pińczowskiego, stopnickiego i włoszczowskiego. W okresie międzywojennym siedziba archiwum mieściła się w Urzędzie Wojewódzkim, a następnie w budynku przy ulicy Mickiewicza. W latach 1923–1939 były prowadzone prace porządkowo-ewidencyjne. W latach okupacji archiwum działało przy Rządzie Generalnego Gubernatora (część akt zostało wywiezione do Katowic i Rzeszy).
Na mocy rozporządzenia Ministra Oświaty z 1950 roku utworzono archiwa w: Sandomierzu (1950), Starachowicach (1950), Końskich (1951), Opocznie, Pińczowie (1952) i Jędrzejowie (1952). W latach 1950–1952 archiwum kieleckiemu, zostało podporządkowane Archiwum w Radomiu, (w latach 1952–1975 przekształcone na Oddział Terenowy). W następnych latach zlikwidowano archiwa w Opocznie (1952) i Końskich (1975). W 1955 roku archiwum zostało przeniesione do odbudowanego i zaadaptowanego budynku dawnej synagogi, przy ulicy Rewolucji Październikowej (później ul. Warszawskiej) 17. W 1983 roku nastąpiła zmiana nazwy z Wojewódzkiego Archiwum Państwowego na Archiwum Państwowe w Kielcach. W 2010 roku rozpoczęła się przeprowadzka do nowej siedziby przy ul. J.