Web profond

Un article de Wikipédia, l'encyclopédie libre.
Aller à : Navigation, rechercher
Cet article est une ébauche concernant Internet.
Vous pouvez partager vos connaissances en l’améliorant (comment ?) selon les recommandations des projets correspondants.

Le web profond ou web invisible ou encore web caché (en anglais deep web) est la partie du web accessible en ligne, mais non indexée par des moteurs de recherche classiques généralistes ; certains moteurs, tels que BASE, prennent cependant en compte cette partie du réseau. La terminologie web profond est opposée à web surfacique.

Sommaire

Ne pas confondre [modifier]

Le web profond n'est ni le web sombre (en), ni un réseau d'anonymisation (les services web auxquels on peut accéder via des outils tels Tor, Freenet, I2P, etc.), ni le web opaque (indexable, mais non indexé) bien que, selon les conceptions, on peut considérer que ces deux derniers (voire les trois) comme en faisant partie.

Ressources profondes [modifier]

Les robots d'indexation sont des programmes utilisés par les moteurs de recherche pour parcourir le web. Afin de découvrir de nouvelles pages, ces robots suivent les hyperliens. Les ressources profondes sont celles qui ne peuvent pas être atteintes facilement par les moteurs de recherche.

On peut classer les ressources du web profond dans une ou plusieurs des catégories suivantes :

  • contenu dynamique.
  • contenu non lié.
  • contenu à accès limité.
  • contenu de script.
  • format non indexable.

Voir la section Raisons de la non-indexation qui donne plus de précision

Taille [modifier]

Une étude de juillet 2001 réalisée par l'entreprise BrightPlanet[1] estime que le web profond pouvait contenir 500 fois plus de ressources que le web indexé par les moteurs de recherche. Ces ressources, en plus d'être volumineuses, sont souvent de très bonne qualité.

En 2008, le web dit « invisible » non référencé par les moteurs de recherche représente 70 à 75 % de l'ensemble, soit environ un trilliard de pages non indexées[2].

Web opaque [modifier]

Une partie très importante du web est théoriquement indexable, mais non indexée de fait par les moteurs. Certains auteurs[3] parlent dans ce cas, pour le web non profond et non indexé, de web opaque (opaque web) ou de web presque visible (nearly visible web).

Le web profond et le web opaque sont accessibles en ligne aux internautes, les deux ne sont pas indexées par les moteurs : le web opaque pourrait être indexé.

Les algorithmes des moteurs étant semblables (par exemple, page rank), les zones indexées se recoupent en partie d'un moteur de recherche à l'autre. Les ressources matérielles des robots d'indexation ne sont pas, malgré des moyens matériels importants, à même de suivre tous les liens théoriquement visibles par eux, que le web (gigantesque) contient.

Une équipe de chercheurs allemands a étudié le comportement des robots d'indexation face à des sites contenant énormément de pages. Ils ont créé un site web composé de 2 147 483 647 pages (231 - 1). Ce site web étant un arbre binaire, il est très profond (il faut au minimum 31 clics pour arriver à certaines pages). Ils ont laissé ce site en ligne, sans le modifier, pendant une année. Les résultats montrent que le nombre de pages indexées pour ce site, dans le meilleur des cas, ne dépasse pas 0,0049 %.

Afin de résoudre ce problème de volumétrie de pages à indexer pour un site donné, le moteur Google a introduit en 2005, le protocole sitemap. Il permet, grâce à la mise à disposition du robot d'un fichier sitemap, de gagner en efficacité pour l'indexation. Ce fichier est mis à la racine du site par l'administrateur du site web.

Raisons de la non-indexation [modifier]

  • Les sites contiennent de plus en plus de pages dynamiques : les hyperliens de navigation sont générés à la demande et diffèrent d'une visite à l'autre.
  • Certains sites (ou partie de sites) ne sont pas liées par d'autres pages et ne peuvent donc pas être découvertes par les robots d'indexation (le seul moyen de les faire indexer est dès lors de demander explicitement cette indexation au moteur de recherche, ce qui, souvent, n'est pas fait par ignorance de ce procédé). Ce contenu est connu comme des pages sans backlinks (ou inlinks).
  • Il faut parfois remplir convenablement un formulaire de critères de recherche pour pouvoir accéder à une page précise. C'est le cas de sites exploitant des banques de données.
  • Certains sites nécessitent une authentification avant d'accéder au contenu réel : c'est le cas des sites avec des archives payantes (journaux en ligne, bases de données de météorologie, etc.) pouvant atteindre des téraoctets de données. Par exemple, le National Climatic Data Center met en ligne une base de données contenant 370 000 Go, alors que celui de la NASA est de 220 000 Go.
  • Les pages web peuvent dans leur conception rendre difficile leur indexation. Elle peuvent en particulier contenir des éléments HTML frameset au lieu des éléments classiques body. Or un robot n'est guère capable d'émettre des requêtes pertinentes ; sa visite d'indexation se réduit donc aux seules pages accessibles en suivant des URL statiques.
  • L'utilisation du langage JavaScript (comme Ajax) incompris par les robots, pour lier les pages entre elles constitue souvent un frein à leur indexation.
  • Le web invisible est également constitué des ressources utilisant des formats de données incompréhensibles par les moteurs de recherche. Cela a été longtemps le cas du format PDF. Au XXIe siècle, tous les grands moteurs de recherche (Google, Yahoo!, MSN...) sont capables d'indexer les documents utilisant ce format. Depuis le début de 2008, Google reconnaît les pages au format flash.

web privé [modifier]

Certaines pages sont inaccessibles aux robots du fait de la volonté de l'administrateur du site web. Outre le fait d'utiliser dans ce but ce qui a déjà est décrit ci-dessus, il est possible, à l'aide d'un fichier (robots.txt) mis à la racine d'un site web, de bloquer tout ou partie du site aux robots qui coopèrent, le site restant accessible aux internautes. Il est également possible d'utiliser l'élément meta robot dans le même but ainsi que pour empêcher de suivre des liens et interdire la mise en cache de pages données (indépendamment de l'autorisation d'indexation). Ces pages sont parfois rangées dans une catégorie connexe à celle du web profond : le web privé (private web).

Notes et références [modifier]

  1. ↑ « The Deep Web: Surfacing Hidden Value », Michael K. Bergman, The Journal of Electronic Publishing, August 2001, Vol. 7, Issue 1.
  2. ↑ (fr) Comment le web change le monde : l'alchimie des multitudes, Francis Pisani et Dominique Piotet, éd. Pearson, 2008 (ISBN 978-2-7440-6261-2), p.188
  3. ↑ The Invisible Web de Chris Sherman et Gary Price ; septembre 2001

Annexes [modifier]

Articles connexes [modifier]

Liens externes [modifier]

Ce document provient de « http://fr.wikipedia.org/w/index.php?title=Web_profond&oldid=93211633 ».