Plateforme Google

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher

Google exige de grandes ressources informatiques afin de fournir ses services. Cet article décrit l'infrastructure technologique derrière les sites Web de Google, comme présenté dans les annonces publiques de la compagnie.

Topologie du réseau[modifier | modifier le code]

En 2008, Google exploitait 34 datacenters dans le monde, dont 19 aux États-Unis (dont 2 en construction), 11 en Europe, 3 en Asie et 1 au Brésil[1]. Bien que les chiffres ne soient pas publiés, certains estiment que Google maintient près de 2 millions de serveurs, situés dans plusieurs villes autour du monde, avec les centres importants dans les Mountain View (Californie), Council Bluffs (Iowa), Herndon (Virginie), Lenoir (Caroline du Nord), Atlanta (Georgie); Dublin, Irlande ; Saint-Ghislain, Belgique ; Groningen aux Pays-Bas[2]; Zurich, Suisse ; São Paulo au Brésil; Tokyo, Japon ; Pékin, Chine ;[3],[4]

Quand une tentative de se relier à Google est faite, les serveurs de DNS font pointer www.google.com à des adresses IP multiples, qui agit en tant que premier niveau pour un équilibrage de la charge en dirigeant les clients vers différents faisceaux de Google. Chaque faisceau de Google a des milliers de serveurs, et lors du raccordement au faisceau un autre équilibrage de la charge est exécuté afin d'envoyer les requêtes au serveur web le moins chargé. Ceci fait de Google l'un des réseaux les plus grands et plus complexes.

Les supports sont faits sur commande et contiennent 40 à 80 serveurs 1U des serveurs (20 à 40 de chaque côté), alors que les nouveaux serveurs sont les systèmes 2U Rackmount. Chaque support a un commutateur. Des serveurs sont reliés par l'intermédiaire d'un lien d'Ethernet de 100 Mbits/s au commutateur local. Des commutateurs sont reliés au commutateur de gigabit de noyau utilisant une ou deux liaisons montantes de gigabit.

Les centres de données sont implantés en priorité là où l'électricité n'est pas trop chère (par exemple à proximité de centrales hydro-électriques), en particulier sur la côte nord-ouest des États-Unis, la facture énergétique étant un des centres de coûts les plus importants: les spécialistes estiment que l'électricité consommée par un serveur sur sa durée de vie coûte plus cher que le matériel lui-même[5].

Index principal[modifier | modifier le code]

Les requêtes étant composées de mots, un index inversé des documents est alors nécessaire. Un tel index laisse obtenir une liste de documents pour un même mot dans une question. L'index est très grand dû au nombre de documents stockés dans les serveurs.

Serveur matériel et logiciel[modifier | modifier le code]

Un serveur Google exposé à San Francisco en 2008

En octobre 2008, Bien que les chiffres ne soient pas rendus publics, Google aurait compté deux millions de serveurs[6].

De par la quantité de matériel utilisé et la nature intensive des applications exécutées par ses serveurs, Google publie des statistiques intéressantes sur les défaillances du matériel : disques durs[7] et mémoire DRAM[8].

Google est connu pour utiliser de simples PC modifiés spécialement pour exécuter ses algorithmes au lieu de serveurs onéreux spécifiquement conçus pour ce travail, notamment en termes de puissance de calcul et de fiabilité. Le détail des modifications apportées à ces machines est resté secret pendant longtemps, jusqu'au 1er avril 2009[9]. La principale particularité de ses PC est l'ajout à chacun d'eux d'une batterie de 12 volts pour fournir du courant en cas de problème avec la source principale d'électricité, ce qui d'après Google coûte moins cher qu'acheter une alimentation sans interruption couvrant les besoins de l'ensemble d'un data center et permet d'avoir une meilleure efficacité énergétique.

Une autre caractéristique intéressante est que les data centers sont composés depuis 2005 de conteneurs standard contenant 1 160 PC serveurs avec une consommation électrique pouvant atteindre 250 kilowatts. Sun Microsystems et Windows Azure sont aussi connus pour utiliser des conteneurs, mais depuis moins longtemps.

L'utilisation de nombreux PC non fiables a nécessité la création d'algorithmes et d'implémentations adaptés. Les algorithmes devaient être parallèles, distribués (ou répartis), tolérants aux pannes. Ceci inclut [10] :

Notes et références[modifier | modifier le code]

Article connexe[modifier | modifier le code]

Lien externe[modifier | modifier le code]

Présentation officielle des centres de données de Google