Klasztor został erygowany w 1938 r. wraz z wybudowaną kaplicą. II wojna światowa pozostawiła krwawy ślad w krótkiej historii skarżyskiego konwentu, gdyż w 1940 r. za współpracę z lokalną organizacją konspiracyjną zginęło z rąk Niemców siedmiu zakonników, a klasztor i kaplicę zamknięto. Franciszkanie ostatecznie powrócili do klasztoru w roku 1945. W maju 1952 r. przy kaplicy erygowano parafię pw. Niepokalanego Poczęcia NMP. Podejmowano również starania o wzniesienie kościoła, co skutecznie utrudniały ówczesne władze cywilne. Zgodę na budowę franciszkanie otrzymali dopiero w 1983 r. i natychmiast przystąpili do prac. Po czterech latach budowy, świątynia została konsekrowana w maju 1987 r. Gwardianem klasztoru (i jednocześnie proboszczem miejscowej parafii) jest o. Mirosław Bartos
thumb|240px|right|Zespół klasztorny w Smardzewicach Smardzewice
Historia konwentu smardzewickiego ściśle związana jest z miejscowym kultem św. Anny, która objawiła się miejscowemu gospodarzowi w 1620 r., a w miejscu objawień zbudowano kapliczkę.