W dniu 8 października 1854 roku założono w Mikołowie po raz drugi samodzielną parafię ewangelicką. Pierwszym proboszczem został ks. August Zernecke pochodzącego z Kargowy w Poznańskiem. W 1855 roku na wzgórzu nieopodal miejsca, gdzie kiedyś stał kościół św. Mikołaja, zakupiono plac pod budowę nowego kościoła ewangelickiego, plebanii i cmentarza. Fundusze na budowę uzyskano m.in. od Śląskiego Stowarzyszenia Gustawa Adolfa oraz księcia pszczyńskiego, Jana Henryka XI. Budowa trwała w latach od 1860 roku, i już 29 października 1861 roku generalny superintendent (biskup) ks. dr Hahn z Wrocławia dokonał uroczystego poświęcenia kościoła nadając mu imię świętego Jana. W tym samym roku nabyto pole za kościołem, które poświęcono na cmentarz.
W 1853 roku otwarto pierwszą szkołę ewangelicką, w 1871 roku przystąpiono do budowy plebanii, w 1900 roku poświęcono okazałą kaplicę cmentarną. W następnych latach: odnowiono i pomalowano kościół (1908), powiększono cmentarz (1909), zakupiono dom parafialny (1918) (obecnie plac ks. Jana Karpeckiego 2). W 1932 roku proboszczem został wybrany ks. Gustaw Adolf Leder – jeden z najwybitniejszych mikołowskich duchownych.