Na mapie Lubinusa z 1618 roku widać na planie miasta Bytowa kościół św. Jerzego, jako świątynię na wzgórzu z czterospadowym dachem, zakrystią oraz wieżą pośrodku dachu. Do 1637 świątynia służyła jako kościół pogrzebowy, następnie jako kościół miejski do czasu wybudowania oratorium na ratuszu (ok. 1670 r.), przejściowo także po roku 1700 (do czasu odbudowy spalonego oratorium).
W 1641 roku świątynia była w złym stanie oraz bez wyposażenia. Zły stan techniczny spowodował, że w roku 1673 z powodu huraganu został zniszczony. Tak zrujnowany kościół, w latach 1675–1685 odbudowano do obecnej formy (zachowanej również podczas odbudowy w latach 80.) jako murowany, z czterospadowym dachem, pokrytym gontem i małą wieżyczką pośrodku dachu świątyni.
W 1843 roku po 30 latach nieużytkowania został poddany gruntownej renowacji, ze względu potrzebę użytkowania świątyni w trakcie budowy kościoła św. Elżbiety (aktualnie Kościół św. Katarzyny Aleksandryjskiej i św. Jana Chrzciciela w Bytowie) w latach 1843–1854. W trakcie remontu m.in. zasypano oraz zamurowano częściowo zawalone krypty grobowe.