Dokładna data rozpoczęcia pracy nad schodami jest nieznana, ale przyjmuje się, że mogą mieć ponad 1500 lat.
Na przestrzeni wieków nazwano cały szereg malowniczych miejsc i elementów środowiska Huang Shanu. Z wieloma nazwami wiążą się pewne historie. Na przykład jedna z legend mówi o mężczyźnie, który nie wierzył w opowieści o uroku Huang Shanu. Udał się więc w góry, aby zobaczyć je na własne oczy i niemal od razu przekonał się o ich pięknie. Jeden ze szczytów, które ponoć odwiedził, nazwano Shixin (始信), co oznacza mniej więcej „uwierzyć”.
W 1982 roku Rada Państwa Chińskiej Republiki Ludowej uznała Huang Shan za „miejsce o pięknych widokach i historycznym znaczeniu”. W 1990 roku góry wpisano na listę światowego dziedzictwa UNESCO za ich krajobrazy oraz za rolę, jaką odgrywają, będąc siedliskiem rzadkich i zagrożonych gatunków.
W 2002 roku Huang Shan nazwano „siostrzaną górą” szczytu Jungfrau w Alpach Szwajcarskich.
Inspiracje artystyczne i naukowe left|thumb|Obraz w stylu suiboku-ga przedstawiający góry Huang Shan autorstwa Shitao (1670)