Goraj był miasteczkiem przede wszystkim rzemieślniczym. Już w 1566 roku powstał tu cech tkacki, w 1637 roku kuśnierski, w 1639 roku szewski. Z czasem osiedlili się tu nawet sukiennicy Niemcy mając w 1861 roku 25 warsztatów. Przemysł tkacki upadł w czasie pierwszej wojny światowej. Zabudowa miasteczka była wyłącznie drewniana, murowany był tylko kościół i synagoga. Rynek otaczały domy podcieniowe ustawione szczytowo, jeden dom narożny, zapewne karczma, usytuowany był równolegle do pierzei rynku, miał on nadto nietypowy dach łamany. Domy gorajskie należały do najpiękniejszych jakie znamy z terenów południowej Lubelszczyzny. Większość z nich była pokryta wysokimi dachami naczółkowymi, ale właśnie w Goraju reprezentowane były niemal wszystkie typy dachów: najliczniej występujący naczółkowy, dalej łamany polski, krakowski, mansardowy, półszczytowy, czterospadowy i dwuspadowy. Podcienia przy rynku były wsparte na profilowanych słupach, większość domów miała drzwi zewnętrzne frontowe z półkolistymi zamknięciami nadproży. Zabudowa ta została spalona w czasie pierwszej wojny światowej, znana jest dzięki zachowanym fotografiom i dawniejszym opisom.