Hadoop
 |
Cet article est une ébauche concernant l’informatique.
Vous pouvez partager vos connaissances en l’améliorant (comment ?) selon les recommandations des projets correspondants.
|
| Hadoop | |
 |
|
| Développeur | Apache Software Foundation |
|---|---|
| Environnements | Multiplate-forme, principalement POSIX. |
| Type | Architecture distribuée |
| Licence | Licence Apache |
| Site web | hadoop.apache.org |
modifier  |
|
Hadoop est un framework Java libre destiné aux applications distribuées et à la gestion intensive des données. Il permet aux applications de travailler avec des milliers de nœuds et des pétaoctets de données. Hadoop a été inspiré par les publications MapReduce, GoogleFS et BigTable de Google.
Hadoop a été créé par Doug Cutting et fait, en 2009, partie des projets de la fondation logicielle Apache.
Sommaire |
[modifier] Historique
Hadoop faisait auparavant partie du projet Lucene et de Nutch.
[modifier] Architecture
[modifier] Hadoop Distributed File System
Le système de fichiers distribué d'Hadoop fait partie de ses composants de base.
[modifier] MapReduce
Hadoop dispose d'une implémentation complète de l'algorithme de MapReduce.
[modifier] HBase
HBase est une base de données distribuée disposant d'un stockage structuré pour les grandes tables.
Comme BigTable, HBase est une base de données orientée colonnes.
[modifier] ZooKeeper
ZooKeeper est un logiciel de gestion de configuration pour systèmes distribués, basé sur le logiciel Chubby développé par Google. ZooKeeper est utilisé entre autres pour l'implémentation de HBase.
[modifier] Hive
Hive est un logiciel d'analyse de données permettant d'utiliser Hadoop avec une syntaxe proche du SQL. Hive a été initialement développé par Facebook.
[modifier] Pig
Pig est un logiciel d'analyse de données comparable à Hive, mais qui utilise le langage Pig Latin. Pig a été initialement développé par Yahoo!.
[modifier] Utilisations
Plusieurs grands noms de l'informatique ont déclaré utiliser Hadoop, comme Facebook, Twitter, Yahoo ou Microsoft[1].
[modifier] Distributions
Une version d'Hadoop est également distribuée par Cloudera, qui propose un service de formation et un support commercial[2].
[modifier] Solutions
La société Hurence propose des solutions d'analyse de données sur Hadoop et HBase, ainsi qu'un service de formation et un support commercial[3].
[modifier] Notes et références
[modifier] Liens externes
- (en) Site officiel de Hadoop
- (en) Mention de Nutch et de Hadoop dans un article sur Google intitulé How Google Works
