Tereny wsi składały się z lasów i podmokłych łąk. O ile po lasach nie ma śladu (z wyjątkiem tych w pobliskiej Rudzie Pabianickiej), tak podmokłe łąki wciąż istnieją. Przed założeniem miejscowości na terenach dzisiejszej miejscowości znajdowały się bagna, które wśród lokalnych mieszkańców miały rzekomo uchodzić za przeklęte.
Pierwsi mieszkańcy Starowej Góry pochodzili z Baden i Sachsen. Byli oni przede wszystkim wyznania luterańskiego, w związku z tym na początku XIX w. w pobliżu dzisiejszych ul. Granicznej i ul. Łódzkiej powstał cmentarz ewangelicki. Obecnie, jest zapomniany i silnie zdewastowany.
Za czasów niemieckiej ludności, opiekę duchową zapewniali pastorzy z parafii w Brużycy Wielkiej, a potem z Pabianic. I wojna światowa odbiła się na Starowej Górze przede wszystkim podczas bitwy pod Łodzią w 1914, której ślady widać na pobliskim cmentarzu wojskowym w Starej Gadce.
Po II wojnie światowej, na mocy postanowień z Poczdamu, osoby narodowości niemieckiej zostały wysiedlone. Na ich miejsce przybyły rodziny ze wschodnich rejonów Polski, jednak według spisu powszechnego z 1955 Starową Górę zamieszkiwało jedynie 31 osób.