Pod koniec średniowiecza miasto zaczęło podupadać, gdy ławice śledzi przeniosły się w inne rejony Bałtyku, a gdańscy kupcy zaczęli wykupywać usługi helskich rybaków na nieuczciwych zasadach. Dodatkowo Kazimierz IV Jagiellończyk oddał miasto pod zwierzchność Gdańska, co spowodowało nałożenie na (Stary) Hel licznych danin i podatków. Kłopoty gospodarcze oraz surowe prawodawstwo miejskie spowodowały emigrację ludności z miasta, wówczas powstała także w pobliżu osada, który z czasem rozwinęła się we współczesny Hel (wówczas Nowy Hel). Jeszcze w XV wieku panowała równowaga między obydwoma ośrodkami.
W Wielkanoc 1572 roku miasto Stary Hel strawił pożar (wywołany prawdopodobnie przez szwedzkich żołnierzy), który przyśpieszył upadek miasta. Jednym z nielicznych budynków, który przetrwał był kościół, którego mury wizytował w 1702 roku biskup Stanisław Szembek. Wkrótce potem ruiny kościoła rozebrano, a materiał wykorzystano do rozbudowy kościoła luterańskiego w Nowym Helu.