Według rejestru poborowego z 1578 wieś podzielona była pomiędzy kilku właścicieli. Wdowa Anna Olszyna posiadała połowę łanu i jednego zagrodnika. Stanisław Swarzyszowski i Wysocki mieli pół łanu i 3 zagrodników. Michał Swarzisz – połowę łanu, 2 zagrodników i jednego ubogiego komornika. Hieronim Swarz miał ¼ łanu. Stanisław Swarzisz – ¼ łanu i zagrodnika z rolą.
W 1827 Szwarszowice miały 8 domów i 45 mieszkańców. Według Słownika geograficznego Królestwa Polskiego z końca XIX wieku wieś Swarszowice, w parafii Mychów i gminie Częstocice, posiadała 12 domów, 74 mieszkańców, 40 mórg ziemi dworskiej i 94 ziemi włościańskiej.
W latach 1975–1998 miejscowość położona była w województwie kieleckim.
12 lutego 1944 roku oddział Armii Ludowej im. Sowińskiego stoczył w majątku Szwarszowice walkę z żandarmerią niemiecką. Po zakwaterowaniu się oddziału w majątku, w nocy, doszło do walki z oddziałem Armii Krajowej „Białe Barwy” pod dowództwem Konrada Suwalskiego ps. „Cichy”. W kilkugodzinnej walce zginęło czterech alowców. Pozostali poddali się. Oddział przestał istnieć. Źródła powstałe w Polsce Ludowej podają, że 10 z pojmanych zostało rozstrzelanych w pobliskim lesie a pozostałych zwolnionoJózef Bolesław Gargas „Oddziały Gwardii Ludowej i Armii Ludowej 1942 – 1945” Wydawnictwo MON 1971 str. 277.