Moteur de recherche

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher
Page d'aide sur l'homonymie Pour les articles homonymes, voir recherche.

Un moteur de recherche est une application web permettant de retrouver des ressources (pages web, articles de forums Usenet, images, vidéo, fichiers, etc.) associées à des mots quelconques. Certains sites web offrent un moteur de recherche comme principale fonctionnalité ; on appelle alors moteur de recherche le site lui-même (Google Video par exemple est un moteur de recherche vidéo).

Instrument de recherche sur le web constitué de « robots », encore appelés bots, spiders, crawlers ou agents qui parcourent les sites à intervalles réguliers et de façon automatique (sans intervention humaine, ce qui les distingue des annuaires) pour découvrir de nouvelles adresses (URL). Ils suivent les liens hypertextes (qui relient les pages les unes aux autres) rencontrés sur chaque page atteinte. Chaque page identifiée est alors indexée dans une base de données, accessible ensuite par les internautes à partir de mots-clés.

C'est par abus de langage qu'on appelle également moteurs de recherche des sites web proposant des annuaires de sites web : dans ce cas, ce sont des instruments de recherche élaborés par des personnes qui répertorient et classifient des sites web jugés dignes d'intérêt, et non des robots d'indexation — on peut citer par exemple DMOZ et Yahoo!, etc.

Les moteurs de recherche ne s'appliquent pas qu'à Internet : certains moteurs sont des logiciels installés sur un ordinateur personnel. Ce sont des moteurs dits desktop qui combinent la recherche parmi les fichiers stockés sur le PC et la recherche parmi les sites Web — on peut citer par exemple Exalead Desktop, Google Desktop et Copernic Desktop Search, Windex Server, etc

On trouve également des métamoteurs, c'est-à-dire des sites web où une même recherche est lancée simultanément sur plusieurs moteurs de recherche (les résultats étant ensuite fusionnés pour être présentés à l'internaute) — on peut citer Ixquick, Mamma, Kartoo, Seek.fr, Kelseek.fr etc.

Fonctionnement[modifier | modifier le code]

Représentation d'un petit morceau du web autour de Wikipedia.org.

Le fonctionnement d'un moteur de recherche comme tout instrument de recherche se décompose en trois processus principaux :

  1. L'exploration ou crawl : le web est systématiquement exploré par un robot d'indexation suivant récursivement tous les hyperliens qu'il trouve et récupérant les ressources jugées intéressantes. L'exploration est lancée depuis une ressource pivot, comme une page d'annuaire web. Un moteur de recherche est d'abord un outil d'indexation, c'est-à-dire qu'il dispose d'une technologie de collecte de documents à distance sur les sites Web, via un outil que l'on appelle robot ou bot. Un robot d'indexation dispose de sa propre signature (comme chaque navigateur web). Googlebot est le user agent (signature) du crawler de Google
  2. L'indexation des ressources récupérées consiste à extraire les mots considérés comme significatifs du corpus à explorer. Les mots extraits sont enregistrés dans une base de données organisée comme un gigantesque dictionnaire inverse ou, plus exactement, comme l'index terminologique d'un ouvrage, qui permet de retrouver rapidement dans quel chapitre de l'ouvrage se situe un terme significatif donné. Les termes non significatifs s'appellent des mots vides. Les termes significatifs sont associés à un poids. Celui-ci reflète à la fois la probabilité d'apparition du mot dans un document et le « pouvoir discriminant de ce mot » dans une langue, conformément au principe de la formule TF-IDF.
  3. La recherche correspond à la partie requêtes du moteur, qui restitue les résultats. Un algorithme est appliqué pour identifier dans le corpus documentaire (en utilisant l'index), les documents qui correspondent le mieux aux mots contenus dans la requête, afin de présenter les résultats des recherches par ordre de pertinence supposée. Les algorithmes de recherche font l'objet de très nombreuses investigations scientifiques. Les moteurs de recherche les plus simples se contentent de requêtes booléennes pour comparer les mots d'une requête avec ceux des documents. Mais cette méthode atteint vite ses limites sur des corpus volumineux. Les moteurs plus évolués sont basés sur le paradigme du modèle vectoriel : ils utilisent la formule TF-IDF pour mettre en relation le poids des mots dans une requête avec ceux contenus dans les documents. Cette formule est utilisée pour construire des vecteurs de mots, comparés dans un espace vectoriel, par une similarité cosinus. Pour améliorer encore les performances d'un moteur, il existe de nombreuses techniques, la plus connue étant celle du PageRank de Google qui permet de pondérer une mesure de cosinus en utilisant un indice de notoriété de pages. Les recherches les plus récentes utilisent la méthode dites d'analyse sémantique latente qui tente d'introduire l'idée de cooccurrences dans la recherche de résultats (le terme « voiture » est automatiquement associé à ses mots proches tels que « garage » ou un nom de marque dans le critère de recherche).

Des modules complémentaires sont souvent utilisés en association avec les trois briques de bases du moteur de recherche. Les plus connus sont les suivants :

  1. Le correcteur orthographique : il permet de corriger les erreurs introduites dans les mots de la requête, et s'assurer que la pertinence d'un mot sera bien prise en compte sous sa forme canonique.
  2. Le lemmatiseur : il permet de réduire les mots recherchés à leur lemme et ainsi d'étendre leur portée de recherche.
  3. L'anti-dictionnaire : utilisé pour supprimer à la fois dans l'index et dans les requêtes tous les mots « vides » (tels que « de », « le », « la ») qui sont non discriminants et perturbent le score de recherche en introduisant du bruit.

Optimisation pour les moteurs de recherche[modifier | modifier le code]

Afin d'optimiser les moteurs de recherche, les webmestres insèrent des métaéléments (métatags) dans les pages web, dans l'en-tête HTML (head). Ces informations permettent d'optimiser les recherches d'information sur les sites web.

Financement[modifier | modifier le code]

Les sites dont la recherche est le principal service se financent par la vente de technologie et de publicité.

Le financement par la publicité consiste à présenter des publicités correspondant aux mots recherchés par le visiteur. L'annonceur achète des mots-clés : par exemple une agence de voyage peut acheter des mots-clés comme « vacances », « hôtel » et « plage » ou « Cannes », « Antibes » et « Nice » si elle est spécialisée dans cette région. Cet achat permet d'obtenir un référencement dit « référencement payant » à distinguer du référencement dit « référencement naturel ».

Le moteur de recherche peut afficher la publicité de deux manières : en encart séparé ou en l'intégrant aux résultats de la recherche. Pour le visiteur, l'encart séparé se présente comme une publicité classique. L'intégration aux résultats se fait en revanche au détriment de la pertinence des résultats et peut avoir des retombées négatives sur la qualité perçue du moteur. De ce fait, tous les moteurs ne vendent pas de placement dans les résultats.

Les moteurs de recherche constituent un enjeu économique. La valeur boursière de Google, principal moteur de recherche, était de 165 milliards d'euros en janvier 2008.

Techniques de détournement[modifier | modifier le code]

L'importance des enjeux économiques a généré des techniques de détournement malhonnêtes des moteurs de recherche pour obtenir des référencements « naturels », le spamdexing (référencement abusif en français).

Les techniques les plus pratiquées de spamdexing sont :

  • Le cloaking, qui est une technique permettant de fournir une page différente aux moteurs de recherche de celle visible par un internaute.
  • Les sites miroirs, qui sont des copies exactes d'un site internet, mais sous une autre adresse.
  • Le zurnisme, qui est la création d'un néologisme pour obtenir une exclusivité de référencement. Le mot zurnisme est lui-même un zurnisme, qui a été créé en 2007 par un blog français.

Les techniques de référencement abusif sont pourchassées par les éditeurs de moteurs de recherches, qui constituent des listes noires, provisoires ou définitives.

On distingue le spamdexing, détournement malhonnête, du « SEO », Search Engine Optimization (optimisation des moteurs de recherche en français). Les techniques de SEO sont commercialisées par des sociétés spécialisées.

Vente de technologie[modifier | modifier le code]

Les grandes organisations (entreprises, administrations) disposent généralement de très nombreuses ressources informatiques dans un vaste intranet. Leurs ressources n'étant pas accessibles depuis Internet, elles ne sont pas couvertes par les moteurs de recherche du web. Elles doivent donc installer leur propre moteur si elles veulent mener des recherches dans leurs ressources. Elles constituent donc un marché pour les développeurs de moteurs de recherche.

Il arrive également que des sites web publics utilisent les services d'un moteur de recherche pour étoffer leur offre. On parle alors de SiteSearch. Ces logiciels permettent la recherche de contenus dans un ou plusieurs groupes de sites. Ces technologies sont particulièrement exploitées sur les sites de contenus et les sites de vente en ligne. La particularité de ces outils est souvent la complexité de mise en œuvre et les ressources techniques nécessaires disponibles.

Il arrive aussi que les grands portails exploitent la technologie des moteurs de recherche. Ainsi Yahoo!, spécialiste de l'annuaire web, a utilisé pendant quelques années la technologie de Google pour la recherche, jusqu'à ce qu'elle lance son propre moteur de recherche Yahoo Search Technology en 2004, dont les fondations proviennent de Altavista, Inktomi et Overture, sociétés fondatrices des moteurs de recherche et rachetées par Yahoo!.

Évolution vers le web sémantique[modifier | modifier le code]

De plus en plus de producteurs de contenu, à la suite des recommandations du W3C sur le web sémantique, indexent leurs bases avec des métadonnées ou des taxinomies (ontologies), en vue de permettre aux moteurs de recherche de s'adapter aux analyses sémantiques.

Ces formes de recherches et d'analyses de corpus d'informations par voie informatique ne sont encore que des potentialités.

Par comparaison avec des recherches plein texte, des recherches réalisées sur le web sémantique doivent être plus conviviales pour l'utilisateur :

  • L'utilisateur d'un système sémantique doit pouvoir directement poser sa question en langue naturelle.
  • Le moteur de recherche sémantique fournit la réponse précise à une question plutôt qu'une liste de pages y répondant.

Il n'existe pas encore à proprement parler de moteur de recherche sémantique qui permette de comprendre une question en langue naturelle et d'adapter une réponse en fonction des résultats trouvés.

Quelques tentatives existent néanmoins pour chercher à répondre par des formes intermédiaires à cette problématique du sens dans la recherche d'information :

  • Powerset racheté par Microsoft et partiellement intégré à Bing ;
  • NLGbAse qui permet d'interroger une ontologie extraite depuis Wikipedia ;
  • Le projet de recherche Edelweiss de l'INRIA, qui développe des outils exploitant les triplets RDF ;
  • KartOO, de la société Kartoo, qui affichait des graphes sémantiques dans le cadre de ses cartes de recherche (fermé en 2010) ;
  • SYNOMIA propose un moteur de recherche intelligent pour site web en mode Saas. Grosses capacités d'analyse sémantique (EDF, Minefi, AXA…)
  • Antidot Finder Suite de l'éditeur français Antidot qui réalise de la recherche sémantique à partir d'ontologies en RDF, par exemple pour le projet ISIDORE du CNRS ;
  • Sinequa CS de Sinequa, qui fut l'un des premiers moteurs de réponses implémenté en situation réelle, sur le site institutionnel de Gaz de France ;
  • WolframAlpha, moteur de recherche qui répond aux questions en langue naturelle à partir d'une base de donnée.
  • Yatedo, moteur de recherche de personnes utilise la sémantique afin d'extraire les informations relatives à une personne sur une page Web.

Principaux moteurs de recherche[modifier | modifier le code]

Article détaillé : Liste des moteurs de recherche.
  • Google : 36 milliards de recherches mensuelles, soit 60 % des 61 milliards de recherches sur Internet en 2007[1],[2],[3],[4] pour un milliard de visiteurs différents[5] ;
  • Yahoo! : 8,5 milliards, soit 14 % du total ;
  • Baidu : 3,3 milliards, soit 5,4 % du total, mais également 73 % du marché chinois (450 millions d'internautes) en 2011 ;
  • Yandex : 3,0 milliards, soit 4,9 % du total ;
  • Bing : 2,1 milliards de recherches, soit 3,4 %. Il est le remplaçant de Live Search, (Microsoft).

Méta-moteurs[modifier | modifier le code]

Les métamoteurs sont des outils de recherche qui interrogent plusieurs moteurs de recherche simultanément et affichent à l'internaute une synthèse pertinente.

Exemples : Ixquick, Kelseek.fr, Searx, Seek.fr et Seeks.

Multi-moteurs[modifier | modifier le code]

On désigne par multi-moteurs (ou plus rarement, « super moteur »[6]) une page web proposant un ou plusieurs formulaires permettant d'interroger plusieurs moteurs. Il peut également (mais plus rarement) s'agir d'un logiciel, d'une fonction ou d'un plugin de navigateur web, ou d'une barre d'outils, …

Le choix d'un des moteurs peut se faire par bouton, bouton radio, onglet, liste déroulante ou autre.

Les premières pages de ce type recopiaient le code des formulaires de plusieurs moteurs. Avec l'apparition du JavaScript il est devenu possible de n'avoir plus qu'un seul formulaire.
On peut citer par exemple Creative Commons Search[7], Ecosia, Wiinkz, le moteur de recherche de Maxthon, HooSeek (fermé en 2012).

Article détaillé (en anglais) : Multisearch.

Moteurs verticaux[modifier | modifier le code]

On désigne par « moteurs verticaux » une page web ou un service multimédia qui propose une recherche spécialisée dans un domaine professionnel ou qui est particulièrement ciblé. Cet outil de recherche est spécialisé dans un secteur particulier, tel que les télécommunications, le droit, la biotechnologie, la finance (assurance) ou encore l'immobilier. Son fonctionnement général est basé sur une bases de données constituée à partir des bases de tous les sites spécialisés de l'activité ciblée.

Ce type de moteur est utilisé par les professionnels et ciblé sur le consommateur, avec le plus souvent une finalité économique qui dérive sur la géolocalisation.

On retrouve ainsi pour le grand public des annuaires, des comparateurs. Il en existe maintenant pour toutes les activités : immobilier, tourisme, recherche d'emploi, recrutement[8], automobile, loisirs, jeux.

Moteur de recherche d'entreprise[modifier | modifier le code]

L'explosion du nombre de contenus de formats divers (données, informations non structurées, images, vidéos…) disponibles dans les entreprises les poussent à s'équiper de moteur de recherche en interne.

Selon une étude menée par MARKESS International en février 2008, 49 % des organisations ont déjà recours à un moteur de recherche d'entreprise, et 18 % envisagent son utilisation d'ici à 2010. Ces moteurs de recherches sont en majeure partie intégrés aux postes de travail ou aux outils de gestion électronique des documents, mais ils sont dans un nombre grandissant d'entreprises capables de couvrir à la fois les contenus internes et externes de l'entreprise, ou encore intégrés aux outils de gestion de contenu ou aux solutions décisionnelles.

Parmi quelques acteurs proposant des moteurs de recherche d'entreprise figurent Google, Exalead, Multimédia SOLUTIONS, Sinequa, PolySpot, Synomia, OpenSearchServer, Verticrawl, Fast ESP, Endeca, Autonomy, Constellio, Aleph-networks

Ressources pour les moteurs de recherche[modifier | modifier le code]

Les technologie d'analyse du langage, telles que la lemmatisation, l'extraction d'entités nommées, la classification et le clustering permettent d'améliorer grandement le fonctionnement des moteurs de recherche. Ces technologies permettent tout à la fois d'améliorer la pertinence des résultats et d'engager l'internaute dans un processus de recherche plus performante, comme c'est le cas avec la recherche à facettes [précision nécessaire].

Notes et références[modifier | modifier le code]

Voir aussi[modifier | modifier le code]

Sur les autres projets Wikimedia :

Articles connexes[modifier | modifier le code]

Il existe une catégorie dédiée à ce sujet : Moteur de recherche.

Outils[modifier | modifier le code]

Théorie[modifier | modifier le code]

Automatisation[modifier | modifier le code]

Lien externe[modifier | modifier le code]