W alfabetycznym spisie miejscowości na terenie pruskiej prowincji śląskiej wydanym w 1830 roku we Wrocławiu przez Johanna Knie wieś występuje pod nazwami Gross Stein oraz Wielki Kamień. Topograficzny podręcznik Górnego Śląska z 1865 roku notuje miejscowość we fragmencie „Gross Stein (polnisch Kamien)”.
W plebiscycie na Górnym Śląsku przeprowadzonym 20 marca 1921 roku w Kamieniu Śląskim (podobnie jak w wielu innych wsiach ówczesnego powiatu strzeleckiego) większość osób głosowała za przyłączeniem do Polski. Za Polską oddano 493 głosy (55,3%), za Niemcami zaś 398 głosów (44,7%). Ostatecznie jednak miejscowość pozostała w granicach Niemiec aż do roku 1945Mapa obszaru plebiscytowego zawierająca wyniki głosowania w poszczególnych miejscowościach..
W latach 1954–1972 wieś należała i była siedzibą władz gromady Kamień Śląski.
Lokalni święci W 1183 r. urodził się tu święty Kościoła katolickiego – Jacek Odrowąż. Pochodzą stąd błogosławieni Czesław Odrowąż i Bronisława.
17 czerwca 2007 r., z okazji 750. rocznicy śmierci Jacka Odrowąża, przed miejscowym sanktuarium św. Jacka prymas Polski Józef Glemp odprawił uroczystą mszę. Homilię wygłosił Stanisław Dziwisz.