Un moteur de recherche est une application pour effectuer une recherche locale ou en ligne, c'est-à-dire trouver des ressources à partir d'une requête composée de termes. Les ressources peuvent notamment être des pages web, des articles de forums Usenet, des images, des vidéos, des fichiers, des ouvrages, des sites, , des applications, des logiciels open source.
À partir du boom de l'IA au milieu des années 2020, les chatbots commencent à entrer en concurrence avec les moteurs de recherche .
Principe Un moteur de recherche fonctionne généralement selon le principe suivant :
Il commence par indexer du contenu dans une ou plusieurs bases de données qui lui appartiennent. Cette indexation est effectuée au préalable de toute recherche effectuée par un utilisateur. Lorsqu'une requête est soumise, le moteur utilise ses paramètres et algorithmes de classement pour générer une liste de résultats.
Certains sites web offrent un moteur de recherche comme principale fonctionnalité ; on appelle alors « moteur de recherche » le site lui-même. Contrairement aux annuaires, les moteurs de recherche ne nécessitent pas d'intervention humaine. Ils sont basés sur des « robots », appelés « bots », « spiders «, « crawlers » ou « agents », qui parcourent automatiquement les sites à intervalles réguliers afin de découvrir de nouvelles adresses (URL). Ils suivent les liens hypertexte qui relient les pages les unes aux autres, les uns après les autres. Chaque page identifiée est alors indexée dans une base de données, accessible ensuite par les internautes à partir de mots-clés.
C'est par abus de langage qu'on appelle également « moteurs de recherche » des sites web proposant des annuaires de sites web : dans ce cas, ce sont des instruments de recherche élaborés par des personnes qui répertorient et classifient des sites web jugés dignes d'intérêt, et non des robots d'indexation.
Les moteurs de recherche ne s'appliquent pas uniquement à Internet : certains moteurs sont des logiciels installés sur un ordinateur personnel. Ce sont des moteurs dits « de bureau » qui combinent la recherche parmi les fichiers stockés sur le PC et la recherche parmi les sites web. On peut citer par exemple Copernic Desktop Search, Windex Server
On trouve également des métamoteurs, c'est-à-dire des sites web où une même recherche est lancée simultanément sur plusieurs moteurs de recherche, les résultats étant ensuite fusionnés pour être présentés à l'internaute.
Historique Les moteurs de recherche Internet précèdent les débuts du Web à la fin des années 1990 : 1982 : Whois, outil de recherche d'utilisateurs. 1989 : , service de recherche d'utilisateurs sur plusieurs réseaux. 1990 : Archie, premier moteur de recherche de contenu, qui s'appuie sur le protocole de transfert de fichiers (ftp).
Les moteurs de recherche sont inspirés des outils de recherche documentaire (à base de fichiers inversés, alias fichiers d'index) utilisés sur les mainframes depuis les années 1970, comme le logiciel STAIRS sur IBM. Le mode de remplissage de leurs bases de données est cependant différent, car orienté réseau. Par ailleurs la distinction entre données formatées (« Champs ») et texte libre n'y existe plus, bien que commençant depuis 2010 à se réintroduire par le biais du web sémantique.
Des moteurs historiques ont été Yahoo! (1994), Lycos (1994), AltaVista (1995, premier moteur 64 bits) et Backrub (1997), ancêtre de Google (1998). Google apporte un changement important : il stocke dans ses serveurs les pages qu'il indexe, ce que ne faisaient pas les autres moteurs.
Et pour répondre aux besoins des étudiants, des universitaires, chercheurs et ingénieurs, des moteurs spécialisés destinés aux sujets scientifiques et techniques, comme Google Scholar sont apparus.
Dans les années 2020, des systèmes d'intelligence artificielle émergent face aux moteurs de recherche classiques. Par exemple, Perplexity AI et son robot d'exploration web (PerplexityBot), pourrait à moyen terme bouleverser la recherche en ligne, à ce moment dominé par des acteurs comme Google ou Bing.. Ces nouveaux agents conversationnels, au lieu de présenter une longue liste de liens parmi lesquels l'internaute peut choisir, fournissent des réponses synthétiques, contextualisées et sourcées.., à partir de données qu'ils consultent en temps réel. Chaque réponse est accompagnée de citations cliquables, renforçant la transparence et la vérifiabilité des contenus. Une autre différence est que les IA comme Perplexity comprennent bien mieux le langage courant, mémorisent le contexte des échanges et proposent des suggestions pertinentes pour approfondir les recherches.. Les géants du web réagissent à cette montée en puissance : Apple a confirmé en 2025 des discussions avec Perplexity, OpenAI et Anthropic pour intégrer leurs moteurs IA dans Safari, en réponse au procès antitrust contre Google. Mozilla teste aussi l'intégration de Perplexity dans Firefox ; pendant que Perplexity a, de son côté, lancé son propre navigateur, Comet, conçu autour de son moteur IA et d'un assistant embarqué capable de résumer des pages web, interagir avec des contenus et automatiser des tâches simples. Cette concurrence soulève des enjeux majeurs : remise en question de l'hégémonie des moteurs de recherche traditionnels ; incitation à faire évoluer le référencement : les pratiques SEO doivent s'adapter au Generative Engine Optimization (GEO), visant à apparaître dans les réponses générées par l'IA ; protection des données personnelles : des Agents intelligents (assistants IA) comme Comet proposent des fonctions plus larges s'ils ont un accès étendu à certaines informations privées (agenda, mails, navigation) ; monétisation et modèle économique à revoir ; le financement par la publicité et la vente d'information sur le profils et le comportement des utilisateurs et modèles économiques : En 2025, des moteurs IA proposent déjà des versions gratuites limitées, et des abonnements premium ( Perplexity Max à ). Les modèles de financement par la publicité.
Fonctionnement thumb|300px|Représentation d'un petit morceau du web autour de Wikipedia.org.
Le fonctionnement d'un moteur de recherche comme tout instrument de recherche se décompose en trois processus principaux : L'exploration ou crawl : le Web est systématiquement exploré par un robot d'indexation suivant récursivement tous les hyperliens qu'il trouve et récupérant les ressources jugées intéressantes. L'exploration est lancée depuis une ressource pivot, comme une page d'annuaire web. Un moteur de recherche est d'abord un outil d'indexation, c'est-à-dire qu'il dispose d'une technologie de collecte de documents à distance sur les sites Web, via un outil que l'on appelle robot ou bot. Un robot d'indexation dispose de sa propre signature (comme chaque navigateur web). Par exemple, Googlebot est le user agent (signature) du crawler de Google ; BingBot est celui de Bing ; AppleBot, celui de Apple. L'indexation des ressources récupérées consiste à extraire les mots considérés comme significatifs du corpus à explorer. Les mots extraits sont enregistrés dans une base de données organisée comme un gigantesque dictionnaire inverse ou, plus exactement, comme l'index terminologique d'un ouvrage, qui permet de retrouver rapidement dans quel chapitre de l'ouvrage se situe un terme significatif donné. Les termes non significatifs dans un contexte donné s'appellent des mots vides. Les termes significatifs sont associés à un poids. Celui-ci reflète à la fois la probabilité d'apparition du mot dans un document et le « pouvoir discriminant de ce mot » dans une langue, conformément au principe de la formule TF-IDF. L'indexation s'effectue après un ensemble de traitement syntaxiques et sémantiques (lemmatisation, catégorisation, suppression des mots « vides »…) et algorithmiques selon différentes techniques basées aujourd'hui sur l'intelligence artificielle (Word2vec, LDA…). La recherche correspond à la partie requêtes du moteur, qui restitue les résultats. Un algorithme est appliqué pour identifier dans le corpus documentaire (en utilisant l'index), les documents qui correspondent le mieux aux mots contenus dans la requête, afin de présenter les résultats des recherches par ordre de pertinence supposée. Les algorithmes de recherche font l'objet de très nombreuses investigations scientifiques. Les moteurs de recherche les plus simples se contentent de requêtes booléennes pour comparer les mots d'une requête avec ceux des documents. Mais cette méthode atteint vite ses limites sur des corpus volumineux. Les moteurs plus évolués sont basés sur le paradigme du modèle vectoriel : ils utilisent la formule TF-IDF pour mettre en relation le poids des mots dans une requête avec ceux contenus dans les documents. Cette formule est utilisée pour construire des vecteurs de mots, comparés dans un espace vectoriel, par une similarité cosinus. Pour améliorer encore les performances d'un moteur, il existe de nombreuses techniques, la plus connue étant celle du PageRank de Google qui permet de pondérer une mesure de cosinus en utilisant un indice de notoriété de pages. Les recherches les plus récentes utilisent la méthode dite d'analyse sémantique latente qui tente d'introduire l'idée de cooccurrences dans la recherche de résultats (le terme « voiture » est automatiquement associé à ses mots proches tels que « garage » ou un nom de marque dans le critère de recherche).
De même, un article sur la « récolte » du « blé » en « France » sera jugé pertinent comme candidat à la réponse sur une question concernant la « culture » des « céréales » en « Europe ».
Des modules complémentaires sont souvent utilisés en association avec les trois briques de bases du moteur de recherche. Les plus connus sont les suivants : +Le correcteur orthographique : Le lemmatiseur : L'anti-dictionnaire :Il permet de corriger les erreurs introduites dans les mots de la requête en s'assurant de leur pertinence par la prise en compte de leur forme canonique.Il permet de réduire les mots recherchés à leur lemme pour ainsi étendre leur portée de recherche.Il supprime tous les mots « vides » (tels que « de », « le », « la ») qui sont non-discriminants, et qui perturbent le score de recherche en introduisant du bruit. La suppression se fait dans l'index et dans les requêtes.
Optimisation pour les moteurs de recherche
Afin d'optimiser les moteurs de recherche, les webmestres insèrent des métaéléments (métatags) dans les pages web, dans l'en-tête HTML (head). Ces informations permettent d'optimiser les recherches d'information sur les sites web.
Financement Les sites dont la recherche est le principal service se financent par la vente de technologie et de publicité.
Le financement par la publicité consiste à présenter des publicités correspondant aux mots recherchés par le visiteur. L'annonceur achète des mots-clés : par exemple une agence de voyages peut acheter des mots-clés comme « vacances », « hôtel » et « plage » ou « Cannes », « Antibes » et « Nice » si elle est spécialisée dans cette région. Cet achat permet d'obtenir un référencement dit « référencement payant » à distinguer du référencement dit « référencement naturel ».
Le moteur de recherche peut afficher la publicité de deux manières : en encart séparé ou en l'intégrant aux résultats de la recherche. Pour le visiteur, l'encart séparé se présente comme une publicité classique. L'intégration aux résultats se fait en revanche au détriment de la pertinence des résultats et peut avoir des retombées négatives sur la qualité perçue du moteur. De ce fait, tous les moteurs ne vendent pas de placement dans les résultats.
Les moteurs de recherche constituent un enjeu économique. La valeur boursière du holding Alphabet propriétaire de Google, principal moteur de recherche, était de 831 milliards USD en ..
Techniques de détournement