W roku 1639 sprowadzono w to miejsce franciszkanów z pobliskiego Piotrkowa i przystąpiono do budowy klasztoru i drewnianego kościoła. Klasztor został erygowany w 1642 r., a w roku 1701 miała miejsce konsekracja murowanego kościoła barokowego, który wkrótce otoczono murem. W głównym ołtarzu znajduje się obraz św. Anny Samotrzeciej z I połowy XVII w. W wyniku kasaty Zakonu na ziemiach zaboru rosyjskiego w 1864 r. franciszkanów przeniesiono do innych konwentów, a w Smardzewicach osiedli księża diecezjalni.