Le (Prononciation en anglais standard retranscrite selon la norme API.ou , « grosses données » en anglais), les mégadonnées Commission générale de terminologie et de néologie, Journal officiel de la République française du .. ou les données massives, désignent les ressources d’informations dont les caractéristiques en termes de volume, de vélocité et de variété imposent l’utilisation de technologies et de méthodes analytiques particulières pour créer de la valeur.., et qui dépassent en général les capacités d'une seule et unique machine et nécessitent des traitements parallélisés.
L’explosion quantitative (et souvent redondante) des données numériques permet une nouvelle approche pour analyser le monde Cukier, K., et Mayer-Schoenberger, V. (2013). Rise of Big Data: How it's Changing the Way We Think about the World, The. Foreign Aff., 92, 28.. Le volume colossal de données numériques disponibles, implique de mettre en œuvre de nouveaux ordres de grandeur concernant la capture, le stockage, la recherche, le partage, l'analyse et la visualisation des données. Le traitement des . permet de nouvelles possibilités d'exploration de l'information et des données, celles-ci proviennent de nombreuses sources numériques : les réseaux sociaux, les médiasLes médias dans la moulinette du « big data », 6 janvier 2014, consulté 12 janvier 2014., lopen data, le Web, des bases de données privées, publiques à caractère commercial ou scientifique. Cela permet des recoupements et des analyses prédictives dans de nombreux domaines : scientifique, santé, économique, commercial… La multiplicité des applications a été comprise et développée par les plus gros acteurs du secteur des technologies de l'information..
Divers experts, grandes institutions (comme le MIT CSAIL Researchers to Teach MIT's First Online Professional Course on Big Data, Tackling the Challenges of Big Data, janvier 2014, consulté 2014-01-12. aux États-Unis, le Collège de France. en Europe), administrations Gouvernement français (2012) - Investissements d’avenir – Fonds national pour la société numérique, Appel à projets - Big Data. et spécialistes sur le terrain des technologies ou des usagesBig Data Paris, conférence-exposition, 20-21 mars 2012. considèrent le phénomène comme l'un des grands défis informatiques de la décennie 2010-2020 et en ont fait une de leurs nouvelles priorités de recherche et développement, qui pourrait notamment conduire à l'intelligence artificielle (IA) en étant exploré par des réseaux de neurones artificiels autoapprenants..
vignette|droite|upright=1.2|Une visualisation des données créée par IBMNon accessible le 31 mars 2019, sur ibm.com. montre que les sur les modifications de Wikipedia par le robot Pearle ont plus de signification lorsqu'elles sont mises en valeur par des couleurs et des localisationsWatters, Audrey, Visualize Big Data with Flowing Media, ReadWriteWeb. 15 avril 2010..
Histoire thumb|upright=1.2|Croissance de la capacité mondiale de stockage de données et informations The World’s Technological Capacity to Store, Communicate, and Compute Information tracking the global capacity of 60 analog and digital technologies during the period from 1986 to 2007..
Le big data a une histoire récente et pour partie cachée, en tant qu'espace virtuel prenant une importance volumique croissante dans le cyberespace et exploité, parfois illégalement, par des technologies de l'information (moissonnage de données…).
L'expression « big data » serait apparue en octobre 1997 selon les archives de la bibliothèque numérique de l'Association for Computing Machinery (ACM), dans un article scientifique sur les défis technologiques à relever pour visualiser les « grands ensembles de données »..
La naissance du Big Data est liée aux progrès des capacités des systèmes de stockage, de fouille et d'analyse de l'information numérique, qui ont vécu une sorte de big bang des donnéesGil Press (2013) « une très courte histoire du big data » Forbes.com, daté du 5 mai 2013.. Mais ses prémices sont à trouver dans le croisement de la cybernétique et de courants de pensée nés durant la Seconde Guerre mondiale, selon lesquels l’homme et le monde peuvent être représentés comme Tréguier, V. (2014). « Mondes de données et imaginaires: vers un monde cybernétique » et Résumé ; Library and information sciences. 2014, , 53 p..
Les évolutions qui caractérisent le big data et ses algorithmes, ainsi que celles de la science des données sont en partie cachées (au sein des services de renseignement des grands États) et si rapides et potentiellement profondes que peu de prospectivistes se risquent à pronostiquer son devenir à moyen ou long termeBorkar, V. R., Carey, M. J., & Li, C. (2012). Big data platforms: what's next?. XRDS: Crossroads, The ACM Magazine for Students, 19(1), 44-49, mais la plupart des observateurs y voient des enjeux majeurs pour l'avenir, tant en termes d'opportunités commerciales Che, D., Safran, M., & Peng, Z. (2013, January). From big data to big data mining: challenges, issues, and opportunities. In Database Systems for Advanced Applications (). Springer Berlin Heidelberg que de bouleversements sociopolitiques et militaires, avec en particulier le risque de voir émerger des systèmes ubiquistes, orwelliensLarsen, K. (2009). Orwellian state of security. Infosecurity, 6(6), 16-19 (résumé) et totalitaires capables de fortement contrôler, surveiller et/ou influencer les individus et groupes.
Les risques de dérives de la part de gouvernements ou d'entreprises Sanders, E. (2001). Firms renew assault on privacy rules. Los Angeles Times C, 1. ont surtout d'abord été décrits par Orwell à la fin de la dernière guerre mondiale, puis souvent par la science fiction. Avec l'apparition de grandes banques de données dans les années 1970 (et durant toute la période de la guerre froide) de nombreux auteurs s'inquiètent des risques pris concernant la protection de la vie privéeBoeth R (1970). The Assault on Privacy: Snoops, Bugs, Wiretaps, Dossiers, Data Bann Banks, and Specters of 1984. Newsweek, Incorporated., en particulier qui cite l'exemple de la croissance des données stockées relatives à la santé physique et psychique des individusMiller, A. R. (1971). The assault on privacy: computers, data banks, and dossiers. University of Michigan Press.Arthur Miller (1975) "Assault on privacy" ; Psychiatric Opinion ; Vol 12(1), janvier 1975, 6-14.Christie, G. C. (1971). The Right to Privacy and the Freedom to Know: A Comment on Professor Miller's" The Assault on Privacy". University of Pennsylvania Law Review, 970-991..
En 2000, Froomkin, dans un article paru dans la revue , se demande si la vie privée n'est pas déjà morte Froomkin, A. M. (2000). The death of privacy ? ; Stanford Law Review, 1461-1543., mais ce sont surtout les révélations d'Edward Snowden (2013) qui ont suscité une nouvelle prise de conscience et d'importants mouvements de protestation citoyenne.
Les quatre droits et « états de base de la vie privée » tels qu'énoncés par Westin en 1962 (droit à la solitude Ernst M.L & Schwartz, A.U (1962) Privacy: The right to be let alone. New York: Macmillan., à l'intimité, à l'anonymat dans la foule et à la réserve) sont menacés dans un nombre croissant de situationsAskland, A. (2006). What, Me Worry? The Multi-Front Assault on Privacy. St. Louis University Public Law Review, 25(33), et résumé, de même que la protection du contenu des courriers électroniquesGriffin, J. J. (1990). Monitoring of Electronic Mail in the Private Sector Workplace: An Electronic Assault on Employee Privacy Rights, The. Software LJ, 4, 493 (Griffin, J. J. (1990). Monitoring of Electronic Mail in the Private Sector Workplace: An Electronic Assault on Employee Privacy Rights, The. Software LJ, 4, 493. résumé]). qui fait partie du droit à la vie privéeWarren, S. D., & Brandeis, L. D. (1890). The right to privacy. Harvard law review, 193-220..
Dimensions Le s'accompagne du développement d'applications à visée analytique, qui traitent les données pour en tirer du sens.. Ces analyses sont appelées big analytics ou « broyage de données ». Elles portent sur des données quantitatives complexes à l'aide de méthodes de calcul distribué et de statistiques.
En 2001, un rapport de recherche du META Group (devenu Gartner). définit les enjeux inhérents à la croissance des données comme étant tri-dimensionnels : les analyses complexes répondent en effet à la règle dite « des 3V » (volume, vélocité et variété). Ce modèle est encore largement utilisé aujourd’hui pour décrire ce phénomène.. Aux 3 V initiaux, sont parfois ajoutés d'autres V comme : Véracité, Valeur et Visualisation...
Volume C'est une dimension relative : le big data, comme le notait Lev Manovitch en 2011 Manovich L (2011) ‘Trending: The Promises and the Challenges of Big Social Data’, Debates in the Digital Humanities, ed M.K.Gold. The University of Minnesota Press, Minneapolis, MN.[15 juillet 2011]., définissait autrefois , mais il est rapidement (dans les années 1990/2000) devenu possible d'utiliser des logiciels standards sur des ordinateurs de bureau pour analyser ou co-analyser de vastes ensembles de donnéesBig data : la nécessité d’un débat (traduction collaborative d’un essai de Danah boyd et Kate Crawford présentant “Six provocations au sujet du phénomène des big data”, présenté lors du Symposium sur les dynamiques de l’internet et de la société : “Une décennie avec Internet”, organisé par l’Oxford Internet Institute, le 21 septembre 2011), FING, Internet.Actu.Net.
Le volume des données créées est en pleine expansion : les données numériques créées dans le monde seraient passées de par an en 2010 à en 2011, sponsorisée par EMC Gartner, citée par Delphine Cuny sous le titre « "Big data" : la nouvelle révolution », Virginia Rometty, La tribune, , 29 mars au 4 avril 2013, ., puis en 2012 et s'élèveront à en 2020., et en 2035. À titre d'exemple, Twitter générait en janvier 2013, de données chaque jour et Facebook .. En 2014, Facebook Hive générait de data par jour..
Les installations technico-scientifiques (météorologie) produiraient le plus de données. De nombreux projets de dimension pharaonique sont en cours. Le radiotélescope Square Kilometre Array par exemple produira de données analysées par jour, tirées de données brutes produites à un rythme de par seconde.
Variété Le volume du big data met les centres de données face à un réel défi : la variété des données.
Il ne s'agit pas uniquement de données relationnelles traditionnelles, mais surtout de données brutes, semi-structurées, voire non structurées (cependant, les données non structurées devront être analysées et structurées ultérieurement si nécessaire pour leur utilisation.).
Ce sont des données complexes qui proviennent de multiples sources : du web (Web mining), de bases publiques (open data, Web des données), géo-démographiques par îlot (adresses IP), machines ou objets connectés (IoT), ou relever de la propriété des entreprises et des consommateurs, ce qui les rend inaccessibles aux outils traditionnels.
La démultiplication des outils de collecte sur les individus et sur les objets permet d’amasser toujours plus de données. Les analyses sont d’autant plus complexes qu’elles portent de plus en plus sur les liens entre des données de natures différentes.
Vélocité La vélocité représente la fréquence à laquelle les données sont à la fois engendrées, capturées, partagées et mises à jour.