Common Crawl est une organisation à but non lucratif 501(c)(3) qui explore le Web et fournit gratuitement ses archives et ses ensembles de données au public. Les archives web de Common Crawl se composent de pétaoctets de données collectées depuis 2008. Il effectue des crawls environ une fois par mois.

Common Crawl a été fondé par Gil Elbaz. Peter Norvig et Joi Ito comptent parmi les conseillers de l'organisation à but non lucratif. Les robots d'exploration de l'organisation respectent les politiques nofollow et robots.txt. Le code open source pour le traitement de l'ensemble de données de Common Crawl est accessible au public.

L'ensemble de données Common Crawl comprend des travaux protégés par le droit d'auteur et est distribué depuis les États-Unis dans le cadre de revendications d'utilisation équitable. Les chercheurs d'autres pays ont eu recours à des techniques telles que le mélange de phrases ou le référencement de l'ensemble de données Common Crawl pour contourner la législation sur le droit d'auteur dans d'autres juridictions.

L'anglais est la langue principale de 46 % des documents de la version de de l'ensemble de données Common Crawl. Les autres langues les plus courantes sont l'allemand, le russe, le japonais, le français, l'espagnol et le chinois, chacune représentant moins de 6 % des documents.

Histoire Amazon Web Services a commencé à héberger les archives de Common Crawl via son programme Public Data Sets en 2012.

L'organisation a commencé à publier des fichiers de métadonnées et la sortie texte des robots d'exploration ainsi que des fichiers .arc en . Les archives de Common Crawl ne comprenaient auparavant que des fichiers .arc.

En , blekko a fait don au moteur de recherche Common Crawl des métadonnées qu'il avait recueillies lors des recherches qu'il avait effectuées entre février et . Les données offertes ont aidé Common Crawl à « améliorer son crawl tout en évitant le spam, la pornographie et l'influence d'un référencement excessif ».

En 2013, Common Crawl a commencé à utiliser le robot d'exploration Web (webcrawler) Nutch de l'Apache Software Foundation au lieu d'un robot d'exploration personnalisé. De plus, Common Crawl est passé de l'utilisation des fichiers .arc aux fichiers .warc avec son crawl de .

Une version filtrée de Common Crawl a été utilisée pour former le modèle de langage GPT-3 d'OpenAI, annoncé en 2020.

Chronologie des données de Common Crawl Les données suivantes ont été collectées à partir du blog officiel de Common Crawl et de l'API de Common Crawl.

Date de scanTaille en TiBMilliards de pagesInformation complémentaireFévrier 20254022,6Janvier 20254603,0Décembre 20243942,64Novembre 20244052,68Octobre 20243652,49Septembre 20244102,8Août 2024327,42,3Juillet 20243602,5Juin 20243822,7Mai 20243772,7Avril 20243862,7Le scan a été mené du 12 au 24 avril 2024.Février/Mars 20244253,16Le scan a été mené du 20 février au 5 mars 2024.Décembre 20234543,35Le scan a été réalisé du 28 novembre au 12 décembre 2023.Juin 20233903,1Le scan a été mené du 27 mai au 11 juin 2023.Avril 20234003,1Le scan a été mené du 20 mars au 2 avril 2023.Février 20234003,15Le scan a été mené du 26 janvier au 9 février 2023.Décembre 20224203,35Le scan a été mené du 26 novembre au 10 décembre 2022.Octobre 20223803,15Le scan a été mené en septembre et octobre 2022.Avril 20213203,1Novembre 20182202,6Octobre 20182403,0Septembre 20182202,8Août 20182202,65Juillet 20182553,25Juin 20182353,05Mai 20182152,75Avril 20182303,1Mars20182503,2Février 20182703,4Janvier 20182703,4Décembre 20172402,9Novembre 20172603,2Octobre 20173003,65Septembre 20172503,01Août 20172803,28Juillet 20172402,89Juin 20172603,16Mai 20172502,96Avril 20172502,94Mars 20172503,07Février 20172503,08Janvier 20172503,14Décembre 2016—2,85Octobre 2016—3,25Septembre 2016—1,72Août 2016—1,61Juillet 2016—1,73Juin 2016—1,23Mai 2016—1,46Avril 2016—1,33Février 2016—1,73Novembre 20151511,82Septembre 20151061,32Août 20151491,84Juillet 20151451,81Juin 20151311,67Mai 20151592,05Avril 20151682,11Mars 20151241,64Février 20151451,9Janvier 20151391,82Décembre 20141602,08Novembre 20141351,95Octobre 20142543,7Septembre 20142202,8Août 20142002,8Juillet 20142663,6Avril 20141832,6Mars 20142232,8Premier crawl NutchHiver 20131482,3Le scan a été mené du 4 au 22 décembre 2013.Été 2013 ? ?Le scan a été mené de mai 2013 à juin 2013, premier scan WARC.2012 ? ?Le scan a été mené de janvier 2012 à juin 2012, dernier scan ARC.2009-2010 ? ?Le scan a été mené de juillet 2009 à septembre 2010.2008-2009 ? ?Le scan a été mené de mai 2008 à janvier 2009.

Prix Norvig de la science des données Web En corroboration avec SURFsara, Common Crawl sponsorise le Norvig Web Data Science Award, un concours ouvert aux étudiants et chercheurs du Benelux. Le prix porte le nom de Peter Norvig, qui préside également le comité de sélection du prix.

Colossal Clean Crawled Corpus La version de Google du Common Crawl s'appelle Colossal Clean Crawled Corpus, ou C4 en abrégé. Il a été construit pour la formation de la série de modèles linguistiques T5 en 2019. Il existe quelques inquiétudes concernant le contenu protégé par le droit d'auteur dans le C4.

Références

Liens externes

Common Crawl en Californie, États-Unis Référentiel GitHub Common Crawl avec le robot d'exploration, les bibliothèques et un exemple de code Groupe de discussion Common Crawl Blog de Common Crawl

Catégorie:Archivage du web Catégorie:Technologie web