Dzięki osiedlaniu się nowych osadników wieś powoli się rozrastała – w 1772 liczyła 64 gospodarstwa, w 1831 – 77 gospodarstw, w 1867 – 89 gospodarstw. Ważnym zajęciem mieszkańców było pasterstwo, gdyż gleba i położenie mało sprzyjały uprawom rolniczym.
W niektórych miejscach zachował się jeszcze pasterski charakter wsi, widoczny jeszcze w zabudowie wsi, układzie pól oraz pozostałościach pasterskiej gospodarki rolnej. W sposób pełny ukazuje to Zagroda Korkoszów w Czarnej Górze – filia Muzeum Tatrzańskiego.
Początkowo Czarna Góra należała do parafii we Frydmanie, a od 1655 do nowo utworzonej parafii w Łapszach Wyżnych. W 1741 nową parafią Czarnej Góry został Jurgów, a w 1779 część wsi zwana Zagórą została przyłączona do parafii w Trybszu, przy której została do 1995, kiedy to założyła własną parafię pod wezwaniem Przemienienia Pańskiego.
W 1850 powstała pierwsza szkoła. Początkowo językiem nauczania był słowacki, a później również przez pewien czas węgierski. Okres ten, od około połowy wieku XIX do początku wieku XX to okres, gdy sprawy narodowościowe zaczęły mieć istotne znaczenie. Ruchy narodowe Słowaków zaczęły prowadzić silną akcję słowakizacyjną terenów Spisza zamieszkałych przez ludność polską.