bélyegkép|A NEOWISE üstökös (itt piros pontok sorozataként ábrázolva) létezését egy Wide-field Infrared Survey Explorer űrteleszkóp által gyűjtött csillagászati felmérési adatok elemzésével fedezték fel. Az adattudomány egy interdiszciplináris tudományterület , amely statisztikát, tudományos számítástechnikát, tudományos módszereket, feldolgozást, tudományos vizualizációt, algoritmusokat és rendszereket használ a potenciálisan zajos, strukturált vagy strukturálatlan adatokból származó tudás kinyerésére vagy extrapolálására.
Az adattudomány integrálja a mögöttes alkalmazási terület (pl. természettudományok, informatika és orvostudomány) szakterületi ismereteit is. Az adattudomány sokrétű, és tudományként, kutatási paradigmaként, kutatási módszerként, tudományágként, munkafolyamatként és szakmaként is leírható.
Az adattudomány „egy koncepció, ami tulajdonképpen egyesíti a statisztikát, az adatelemzést, az informatikát és a hozzá kapcsolódó módszereket”, hogy „megértse és elemezze a tényleges jelenségeket adatokkal". Elméleteket és technikákat a matematika, statisztika, számítástechnika, az információtudomány és a szakterületi tudás területeiről szerzi. Az adattudomány azonban különböző a számítástechnikától és az információtudománytól. A Turing-díjat elnyert Jim Gray az adattudományt a tudomány „negyedik paradigmájaként” ( empirikus, elméleti, számítási és most már adatvezérelt) képzelte el, és azt állította, hogy „a tudományban minden változik az információs technológia hatása és az adatáradat" miatt.
Az adattudományt gyakran multidiszciplináris területként írják le, mivel különböző területekről, például a számítástechnikából, a statisztikából, az információtudományból és más szakterület-specifikus tudományágakból merít technikákat. Egyes kutatók szerint a különböző területek kombinációja hasonló ahhoz, amilyen az információtudomány évtizedekkel ezelőtt volt (Mayernik, 2023). Ezek a hasonlóságok segítenek megérteni, hogyan vált az adattudomány önálló tanulmányi területté.
Az adattudós olyan szakember, aki programkódot hoz létre, és azt kombinálja statisztikai ismeretekkel az adatok összefoglalása érdekében.
Alapok Az adattudomány egy interdiszciplináris terület amely jellemzően nagy adathalmazokból kinyeri a tudást, és ezt az adatból származó tudást más alkalmazási területeken felmerülő problémák megoldására alkalmazza. A terület magában foglalja az adatok elemzésre való előkészítését, az adattudományi problémák megfogalmazását, az adatok elemzését és az eredmények összefoglalását. Mint ilyen, magában foglalja a számítástechnika, a matematika, az adatvizualizáció, a grafikai tervezés, a kommunikáció és az üzleti élet készségeit.
Vasant Dhar azt írja, hogy a statisztika a kvantitatív adatokra és a leírásra helyezi a hangsúlyt. Ezzel szemben az adattudomány kvantitatív és kvalitatív adatokkal foglalkozik (pl. képekből, szövegből, érzékelőkből, tranzakciókból, ügyfélinformációkból stb.), és a predikciót és a cselekvést hangsúlyozza. Andrew Gelman, a Columbia Egyetem munkatársa a statisztikát az adattudomány nem alapvető részének nevezte. David Donoho, a Stanford professzora azt írja, hogy az adattudományt nem az adathalmazok mérete vagy a számítástechnika használata különbözteti meg a statisztikától, és hogy sok posztgraduális program félrevezetően hirdeti analitikai és statisztikai képzését az adattudományi program lényegeként. Az adattudományt a hagyományos statisztikából kinőtt alkalmazott területként írja le.
Etimológia
Korai használat 1962-ben John Tukey leírt egy általa „ adatelemzésnek ” nevezett területet, amely a modern adattudományra hasonlít. 1985-ben, a Pekingben, a Kínai Tudományos Akadémián tartott előadásában C. F. Jeff Wu először használta az „adattudomány” kifejezést a statisztika alternatív elnevezéseként. Később, egy 1992-es statisztikai szimpózium résztvevői a Montpellier-i Egyetemen a II. számú tanulmány elismerte egy új tudományág megjelenését, amely a különféle eredetű és formájú adatokra összpontosít, és a statisztika és az adatelemzés bevett koncepcióit és elveit ötvözi a számítástechnikával.
Az „adattudomány” kifejezés eredete 1974-re nyúlik vissza, amikor Peter Naur a számítástechnika alternatív elnevezéseként javasolta. 1974-es, a Számítógépes módszerek tömör áttekintése című könyvében Peter Naur a „adattudomány” kifejezés használatát javasolta a „számítástechnika” helyett, hogy tükrözze az adatvezérelt módszerekre helyezett növekvő hangsúlyt 1996-ban a Nemzetközi Osztályozási Társaságok Szövetsége volt az első konferencia, amely kifejezetten az adattudományt témaként emelte ki. A definíció azonban még mindig változékony volt. Az 1985-ös pekingi Kínai Tudományos Akadémián tartott előadás után C. F. Jeff Wu 1997-ben ismét azt javasolta, hogy a statisztikát nevezzék át adattudománynak. Úgy érvelt, hogy egy új név segítene a statisztikának megszabadulni a pontatlan sztereotípiáktól, például attól, hogy a számvitellel szinonim, vagy az adatok leírására korlátozódik. 1998-ban Hayashi Chikio az adattudományt egy új, interdiszciplináris koncepcióként állította fel, amelynek három aspektusa van: adattervezés, -gyűjtés és -elemzés.
Modern használat 2012-ben Thomas H. Davenport és DJ Patil technológusok kijelentették, hogy az adattudós a 21. század legszexisebb munkája, egy olyan szállóigévé vált mondás, amelyet még olyan nagyvárosi újságok is átvettek, mint a New York Times és a Boston Globe. Egy évtizeddel később megerősítették ezt, kijelentve, hogy „a munka iránt nagyobb a kereslet a munkaadók körében, mint valaha”.
Az adattudomány, mint önálló tudományág modern felfogását néha William S. Clevelandnek tulajdonítják. 2014-ben az Amerikai Statisztikai Társaság Statisztikai Tanulás és Adatbányászat Szekciója Statisztikai Tanulás és Adattudomány Szekcióra változtatta a nevét, tükrözve az adattudomány növekvő népszerűségét.
Az elmúlt néhány évben számos főiskola kezdett el strukturáltabb alapképzési programokat létrehozni az adattudomány területén. A Nemzeti Akadémiák jelentése szerint az erős programok jellemzően statisztikai, számítástechnikai, etikai és kommunikációs képzést, valamint egy adott területen végzett gyakorlati munkát tartalmaznak (Nemzeti Tudományos, Mérnöki és Orvosi Akadémiák, 2018). Ahogy az iskolák megpróbálják felkészíteni a diákokat az adatokkal végzett munkakörülményekre, ezek a gyakorlatok egyre gyakoribbá válnak.
Az „adattudós” szakmai címet DJ Patil és Jeff Hammerbacher kapta 2008-ban. Bár a National Science Board használta ezt a kifejezést a 2005-ös „Hosszú életű digitális adatgyűjtemények: A kutatás és az oktatás lehetővé tétele a 21. században” című jelentésében, tágabb értelemben a digitális adatgyűjtemények kezelésében betöltött bármely kulcsfontosságú szerepre utalt.
Adattudomány és adatelemzés alt=summary statistics and scatterplots showing the Datasaurus dozen data set|bélyegkép|Példa a Tucat Adatszaurusz adatkészletének felhasználásával végzett feltáró adatelemzésre Az adattudomány területén az adatelemzés olyan folyamat, amely során az adatokat megvizsgálják, megtisztítják, átalakítják és modellezik annak érdekében, hogy hasznos információkat nyerjenek ki, következtetéseket vonjanak le, és támogassák a döntéshozatalt. Az adatelemzés magában foglalja az exploratív elemzést, amely grafikus eszközökkel és leíró statisztikákkal tárja fel a mintázatokat és hipotéziseket generál, valamint a megerősítő elemzést, amely statisztikai következtetésekkel teszteli a hipotéziseket és számszerűsíti a bizonytalanságot.
Tipikus tevékenységek a következők:
adatgyűjtés és -integráció; adattisztítás és -előkészítés (hiányzó értékek, kiugró értékek kezelése, kódolás, normalizálás); jellemzőtervezés és kiválasztás; vizualizáció és leíró statisztika; statisztikai vagy gépi tanuláson alapuló modellek illesztése és kiértékelése; az eredmények kommunikálása és a reprodukálhatóság biztosítása (pl. jelentések, jegyzetfüzetek és irányítópultok).
Az adatelemzés teljes életciklusát olyan keretrendszerek írják le, mint például a CRISP-DM, amely a folyamatot az üzleti megértéstől a bevezetésen és monitorozáson át vezeti végig.
Az adattudomány gyakran nagy méretű adathalmazokkal dolgozik, amelyek elemzéséhez fejlett számítási és statisztikai módszerek szükségesek. Az adatok gyakran strukturálatlanok — például szövegek vagy képek —, és az adatelemzők gépi tanulási algoritmusokat alkalmaznak előrejelző modellek építésére. A statisztikai elemzés, az adat-előfeldolgozás és a felügyelt tanulás mind központi szerepet játszanak ebben a munkában.
Friss kutatások szerint a mesterséges intelligencia egyre inkább adatcentrikus irányba mozdul el, ahol a hangsúly nem csupán a modellek fejlesztésén, hanem az adatkészletek minőségén van. Ez a szemlélet az adatok tisztítására, finomítására és címkézésére összpontosít, hogy javítsa a rendszerek teljesítményét. Ahogy az AI rendszerek egyre nagyobbá válnak, az adatcentrikus megközelítés jelentősége is növekszik.
Felhőalapú számítástechnika az adattudomány számára bélyegkép|Egy felhőalapú architektúra nagy adat elemzéséhez. Az adatok különböző forrásokból, például személyi számítógépekből, laptopokból és okostelefonokból áramlanak felhőszolgáltatásokon keresztül feldolgozás és elemzés céljából, ami végül különféle nagy adatú applikációkhoz vezet. A felhőalapú számítás lehetőséget kínál nagy mennyiségű számítási kapacitás és tárhely elérésére. A big data területén, ahol az információk folyamatosan keletkeznek és feldolgozásra kerülnek, ezek a platformok alkalmasak összetett és erőforrás-igényes analitikai feladatok kezelésére.
Bizonyos elosztott számítási keretrendszerek kifejezetten big data munkafolyamatokhoz lettek tervezve. Ezek lehetővé teszik, hogy az adatelemzők nagy adathalmazokat párhuzamosan dolgozzanak fel és elemezzenek, ami jelentősen csökkentheti a feldolgozási időt.
Etikai megfontolások az adattudományban A data science során történő adatgyűjtés, -feldolgozás és -elemzés gyakran érint személyes vagy érzékeny információkat, ezért komoly etikai kérdéseket vet fel. Ezek közé tartozik: az adatvédelmi jogsértések lehetősége, a meglévő társadalmi torzulások felerősítése, valamint negatív társadalmi hatások kialakulása.
A data science oktatásában egyre nagyobb hangsúlyt kapnak az etikai és filozófiai kérdések. A kurzusok már nemcsak technikai elveket tanítanak, hanem olyan emberközpontú témákat is integrálnak, mint: méltányosság; elszámoltathatóság; és felelős döntéshozatal.
Ezeket gyakran morálfilozófiai és politikai filozófiai vitákhoz kapcsolják, hogy a hallgatók jobban megértsék, hogyan hatnak az adatvezérelt technológiák a társadalomra.
A gépi tanulási modellek képesek felerősíteni a tanító adatokban meglévő torzításokat, ami diszkriminatív vagy igazságtalan eredményekhez vezethet. Emiatt egyre nagyobb figyelmet kap az adatok megfelelő hivatkozása, amely: segíti a kutatókat abban, hogy pontosan lássák, milyen adatokat használtak, lehetővé teszi a vizsgálatok megismételhetőségét, és biztosítja, hogy az adatgyűjtők és kezelők megfelelő elismerést kapjanak.
Lásd még Python (programozási nyelv) R (programozási nyelv) Adatmérnökség Nagy adathalmazok Gépi tanulás Mesterséges intelligencia Bioinformatika Asztroinformatika Topológiai adatelemzés Adattudományi folyóiratok listája Adattudományi szoftverek listája Nyílt forráskódú adattudományi szoftverek listája Adattudományi jegyzetfüzet szoftver
Jegyzetek
Fordítás
Források <!- Ezt rendbe illenék rakni --> Donoho, D. (2017). 50 Years of Data Science. Journal of Computational and Graphical Statistics, 26(4), 745–766. https://doi.org/10.1080/10618600.2017.1384734 Dhar, V. (2013). Data science and prediction. Communications of the ACM, 56(12), 64–73. https://doi.org/10.1145/2500499 Danyluk, A., & Leidig, P. (2021). Computing Competencies for Undergraduate Data Science Curricula. ACM Data Science Task Force Final Report.