Po zamku pozostały jedynie wspomnienia, że nad stawem, „nad, którym stoi folwark Zagrody, spod zabudowań tegoż wydobywają się szczątki kamienia i wapna w dość obfitej ilości i o znacznych rozmiarach”. Z czasów posiadania miasta przez Stanisława Górkę należy wspomnieć założony przez niego zbór kalwiński, który przetrwał być może do 1625 roku. lewo|mały|Pomnik na rynku Parafia w Goraju została erygowana w 1379 roku i wtedy też Dymitr fundował kościół drewniany pod wezwaniem św. Bartłomieja przeznaczając na jego fundusz wieś Branewkę. W 1520 roku zbudowano nowy kościół. Była też wówczas w Goraju stara kaplica. Kościół z 1520 roku został zniszczony wraz z kaplicą przez kalwinów w 1598 roku. Trzeci z kolei kościół zniszczyli Szwedzi. Ostatni kościół drewniany spłonął w 1780 roku. W latach 1779–1782 ówczesny proboszcz, a zarazem profesor Akademii Zamojskiej ks. Baltazar Dulewski wzniósł obecny kościół murowany, który również uległ pożarowi w 1795 roku, lecz wkrótce został odbudowany. Zniszczona przez Niemców podczas okupacji murowana synagoga pochodziła z pierwszej połowy XVII wieku, odbudowywana była w końcu XVII wieku po wojnach szwedzkich.