Herby Stare zostały ulokowane na dawnej linii wąskotorowej częstochowsko-herbskiej jako końcowy przystanek tej linii i działały wówczas pod nazwą Herby Ruskie. Po drugiej stronie granicy znajdowała się stacja Herby Pruskie na linii normalnotorowej do Lublińca. Obie stacje dzieli odległość 1 km.
Połączenie z Herbami Pruskimi zbudowano w 1905 roku, gdy do niemieckiej stacji przedłużono linię wąskotorową, a do rosyjskiej normalnotorową. W 1911 roku linia po rosyjskiej stronie granicy została przekuta na szerokotorową z powodu budowy Kolei Herbsko-Kieleckiej, a w czasie okupacji Kongresówki Niemcy przekuli ją ponownie, tym razem na rozstaw normalny.
Po odzyskaniu przez Polskę niepodległości stacja otrzymała początkowo nazwę Herby Polskie, zmienioną w 1930 roku na Herby Stare, podczas gdy Herby Pruskie przemianowano na Herby Granica, a następnie na Herby Śląskie. W 1940 roku niemiecki okupant wyłączył z eksploatacji Herby Stare i przeniósł tę nazwę na Herby Śląskie, co może obecnie prowadzić do pomyłek przy identyfikacji obu stacji. Ten stan rzeczy utrzymał się do dziś.