Un (traduction littérale, site rebut) est un site Web qui ne contient aucune information utile pour un internaute, son contenu étant copié automatiquement depuis d'autres sites dans le but principal de générer des revenus publicitaires.

Certains scraper sites copient le contenu d'un ou de plusieurs autres sites en utilisant une technique appelée . Ces sites n'ont pas de valeur parce qu'ils contiennent des informations déjà disponibles sur d'autres sites. De plus, comme les scraper sites ne sont pas mis à jour lorsque les sites sources sont mis à jour, ils deviennent rapidement désuets.

D'autres scraper sites contiennent des mots choisis aléatoirement dans un dictionnaire auxquels sont ajoutés des mots fréquemment recherchés (comme sexe et nudité) et des publicités. Comme les publicités sont les seuls éléments compréhensibles de ces sites, les visiteurs ont parfois le réflexe de cliquer sur ces publicités, ce qui est l'objectif premier du propriétaire du site.

Le but du scraper site est d'attirer des internautes pour générer des revenus avec les publicités affichées sur le site. Les scraper sites attirent les internautes en trompant les moteurs de recherche qui affichent des liens vers ces sites dans les résultats de recherche. Comme les scraper sites tentent de tromper les moteurs de recherche, ils sont considérés comme du référencement abusif (spamdexing) et les algorithmes des moteurs de recherche comme le PageRank de Google tentent d'identifier ces sites pour les éliminer des résultats de recherche, notamment via la mise à jour Panda déployée à partir de , complétée par la mise à jour Penguin qui cible plus spécifiquement les liens artificiels.

Types de scraper sites Les scraper sites prennent plusieurs formes : les sites « Made for AdSense » (MFA), créés uniquement pour générer des revenus via des programmes publicitaires comme AdSense ; les agrégateurs de prix ou de produits, qui copient des fiches issues de plusieurs marchands pour permettre une comparaison ; les auto blogs, qui republient automatiquement des flux RSS sans intervention humaine ; les sites bâtis sur des noms de domaine expirés, réutilisés pour récupérer leur historique de liens entrants et leur autorité auprès des moteurs de recherche ; les sites de phishing dupliquant le code HTML et CSS d'un site légitime pour tromper les utilisateurs ; les sites de collecte d'adresses électroniques, dont l'objectif est de constituer des listes pour des campagnes de spam.

Techniques utilisées Le scraping repose généralement sur des robots qui envoient une succession de requêtes HTTP vers le serveur d'un site et stockent les réponses. Les robots les plus avancés utilisent du JavaScript et des outils d'automatisation de navigateur (par exemple des navigateurs headless) afin d'imiter un utilisateur humain et d'accéder à des contenus protégés derrière des formulaires.

Les techniques courantes incluent l'analyse syntaxique de pages HTML (parsing), l'extraction de données depuis des flux RSS, l'utilisation d'API publiques, ou encore le détournement de logiciels de scraping comme Scrapy, Octoparse ou Apify.

Légalité Les scraper sites qui copient des informations à partir d'un site dont le contenu n'est pas libre violent la propriété intellectuelle de ces sites.

Même les scraper sites qui copient des contenus libres violent souvent les conditions des licences de ces sites. Par exemple, la licence de documentation libre GNU spécifie que les republieurs doivent informer leurs lecteurs des conditions de la licence d'utilisation des informations et doivent créditer les créateurs des informations. Les scraper sites remplissent rarement ces conditions.

Plusieurs décisions de justice américaines ont par ailleurs reconnu la responsabilité d'opérateurs de scraper sites au titre du Computer Fraud and Abuse Act ou de la doctrine de trespass to chattels. Dans eBay v. Bidder's Edge (2000), le tribunal a ordonné à Bidder's Edge de cesser d'accéder et d'indexer les enchères publiées sur le site d'eBay. Dans Craigslist v. 3Taps (2012), Craigslist a obtenu gain de cause après l'envoi d'une mise en demeure et le blocage des adresses IP de la société 3Taps qui copiait ses petites annonces.

Impact sur le référencement Le scraping de contenu peut nuire au référencement naturel du site source. Les moteurs de recherche peuvent peiner à identifier la version originale d'un contenu dupliqué, et il arrive que la version copiée se positionne au-dessus de la version originale dans les pages de résultats.

Pour lutter contre ce phénomène, Google a déployé en la mise à jour Panda (initialement nommée Farmer Update), qui dégrade le classement des sites présentant du contenu mince, dupliqué ou copié. La version Panda 2.2, déployée en , ciblait spécifiquement les scraper sites qui détournaient le positionnement des sites originaux. Depuis 2016, Panda est intégré au cœur de l'algorithme de Google et n'est plus mis à jour de manière distincte.

Méthodes de détection et de protection Plusieurs méthodes existent pour détecter qu'un contenu a été copié par un scraper site : effectuer une recherche sur Google avec une phrase unique tirée du contenu original ; mettre en place des Google Alerts sur le titre des articles ou des phrases caractéristiques ; utiliser des outils spécialisés comme Copyscape, Ahrefs ou Semrush pour repérer les contenus dupliqués ; surveiller les pingbacks et trackbacks sur les liens internes (notamment sous WordPress).

Côté prévention, les administrateurs de sites peuvent recourir à différentes mesures : limitation du débit des requêtes (rate limiting) par adresse IP, mise en place de CAPTCHA pour les visiteurs suspects, blocage des robots via le fichier robots.txt, modification régulière du balisage HTML pour casser les analyseurs automatiques, ou utilisation de services anti-bots comme Cloudflare ou DataDome. En cas de copie illicite avérée, les ayants droit peuvent envoyer une notification de retrait au titre du DMCA afin d'obtenir le déréférencement du contenu.

Voir aussi Articles connexes Web scraping Référencement abusif (spamdexing) Ferme de contenu Google Panda Spam Robots Exclusion Protocol

Notes et références

Catégorie:Moteur de recherche Catégorie:Spam Catégorie:Technique de référencement black hat