Utilisateur:UnknownJessie/Brouillon3

Une page de Wikipédia, l'encyclopédie libre.
ClickHouse Logo

ClickHouse est un logiciel libre de base de données orientée colonnes Base de données (DBMS) pour le Traitement analytique en ligne (OLAP).

ClickHouse a été développé par la société russe Yandex pour le service d'analyse web Yandex.Metrica.[1][2][3][4] ClickHouse permet l'analyse de données mises a jour en temps réel. Ce système est développé pour la haute performance.[5]

Le projet a été publié sous forme logiciel libre sous les termes de la Licence Apache en juin 2016.[6]

ClickHouse est utilisé par la suite de test Yandex.Tank.[6] Yandex.Market utilise ClickHouse pour surveiller l’accessibilité de sites et KPIs.[7] ClickHouse a aussi ete deploye au CERN LHCb[8] pour stocker et traiter les Métadonnée de 10 milliards d’événements contenant 1000 attributs chacuns, et Tinkoff Bank utilise ClickHouse comme stockage de données pour l'un de ces projets.[9]

Historique[modifier | modifier le code]

Yandex.Metrica utilisait précédemment une approche plus classique lorsque les données brutes étaient stockées dans une forme agrégée.[10] Cette approche permet de réduire la quantité de données stockée. Cependant, elle possède plusieurs désavantages et limitations:

  • La liste des rapports disponibles doit être pré-déterminé, sans possibilité de faire un rapport personnalisé.
  • Le volume de données peut augmenter après agrégation. Cela se produit quand les données sont agrégées avec grand nombre de clés ou en utilisant des clés à grandes cardinalité (comme par exemple URLs).
  • Il est difficile de gérer la consistance logique autour des rapports contenant différentes agrégations.

Une approche différente consiste dans le stockage de données non agrégées. Traiter des données brutes requiert un système haute-performance, car tous les calculs sont fait en temps réel. Pour résoudre ce problème, une base de données orientée colonnes est requise afin de pouvoir évoluer a l’échelle d'Internet. Yandex commença donc a développer sa propre solution. Le premier prototype de ClickHouse est apparu en 2009. A la fin de l’année 2014, Yandex.Metrica version 2.0 est publié. La nouvelle version possède une interface pour créer des rapports personnalisés et utilise ClickHouse pour le stockage et le traitement des données.

Caractéristiques[modifier | modifier le code]

Les principales caracteristiques de ClickHouse sont:[11]

  • Véritable base de données orientée colonnes. Rien n'est stocké avec les valeurs. Par exemple, les valeurs de tailles fixes sont gérées pour éviter de stocker leur taille a coté des valeurs.
  • Extension linéaire. Il est possible d’étendre un cluster en ajoutant des serveurs.
  • Tolérance aux pannes. Le système est un cluster de fragments, dans lequel chaque fragment est un groupe de replicas. ClickHouse utilise une réplication multi-master asynchrone. Les données sont écrites sur n'importe lequel des replicas disponibles, puis distribuées sur les replicas restants. ZooKeeper est utilise pour synchroniser les processus, mais ne participe pas aux traitements et a l’exécution des requêtes.
  • Capacité a stocker et traiter plusieurs péta-octets de données.
  • prise en charge de SQL. ClickHouse prend en charge un langage étendu proche de SQL qui inclut les tableaux et les structures de données imbriquées, les approximations et les fonctions URI, et permet la connexion a un stockage clé-valeur externe.
  • Haute performance.[12]
    • Les calculs par vecteurs sont utilisés. Les données sont stockées seulement par colonnes, mais sont traitées par vecteurs (portions de colonnes). Cette approche permet d'atteindre de hautes performances CPU.
    • Les calculs par approximation et l’échantillonnage sont gérés.
    • Les traitements de requêtes distribuées et parallèles sont disponibles (incluant les JOINs).
  • Compression de données.
  • Optimisation pour les disque dur. Le système peut traiter des données qui ne tiennent pas en Mémoire vive.
  • Clients pour la connexion a la base de données. Les options de connexion a la base de données inclut le client en mode console, HTTP API, ou l'un des wrappers (les wrappers sont disponible pour Python, PHP,[13] NodeJS,[14] Perl,[15] Ruby[16] et R[17]). Un driver JDBC est également disponible pour ClickHouse.[18]
  • Documentation détaillée.

Limitations[modifier | modifier le code]

ClickHouse possède plusieurs caractéristiques pouvant être considéré comme des désavantages:

  • Aucune gestion des transactions.
  • Par défaut, quand on effectue des agrégations, les états de la requête intermédiaire doivent tenir en RAM sur un serveur unique. Cependant, peut être configuré afin de déborder sur le disque dans ce cas de figure.
  • Un manque dans l’implémentation complète des UPDATE/DELETE.

Cas d'usage[modifier | modifier le code]

ClickHouse est également conçu pour pour les requêtes OLAP.[11]

  • Cela fonctionne pour un petit nombre de tables qui contiennent un grand nombre de colonnes.
  • Les requêtes peuvent utiliser un grand nombre de lignes extraient de la BDD, mais seulement un sous-ensemble de colonnes.
  • Les requêtes sont relativement rare (autour de 100 RPS par serveur).
  • Pour des requêtes simples, des latences d'environ 50 ms sont acceptables.
  • Les valeurs de colonnes sont raisonnablement petites, consistant en des nombres et de petites chaînes de caracteres (par exemple, 60 octets par URL).
  • Un haut débit est requis lorsque l'on traite une requête simple (jusqu’à plusieurs milliards de lignes par seconde par serveur).
  • Un résultat de requête est souvent filtré et agrégé.
  • La mise a jour des données utilise un scenario simple (souvent un batch, sans transactions complexes).

Un des cas courants de ClickHouse serveur est l'analyse de logs. Après avoir peuplé des données dans ClickHouse (il est recommandé d’insérer des données avec un relativement gros batch contenant plus de 1000 lignes), il est possible d'analyser les incidents avec des requêtes instantanées ou de surveiller les métriques du service, comme le taux d'erreurs, les temps de réponses, etc.

ClickHouse peut aussi être utilisé comme entrepôt de données pour de l'analyse en interne. ClickHouse peut stocker des données de différents systèmes (par exemple Hadoop ou certain logs) et les analystes peuvent construire des tableaux de visualisations avec les données ou réaliser des analyses temps réels a des fins commerciales.

Benchmark results[modifier | modifier le code]

Selon les tests de performance conduit par les développeurs,[12] pour les requetes OLAP, ClickHouse est plus de fois plus rapide que Hive (une BDD basé sur la technologie Hadoop) ou MySQL (RDBMS).

References[modifier | modifier le code]

(en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « ClickHouse » (voir la liste des auteurs).
  1. ↑ « Usage Statistics and Market Share of Traffic Analysis Tools for Websites, November 2016 », sur w3techs.com (consulté le )
  2. ↑ (en-US) Datanyze, « Analytics Market Share Report | Competitor Analysis | Google Analytics, Google Universal Analytics, Yandex Metrica », sur Datanyze (consulté le )
  3. ↑ Wappalyzer, « Analytics », sur wappalyzer.com, (consulté le )
  4. ↑ « Analytics - SEOMON.com », sur seomon.com (consulté le )
  5. ↑ « ClickHouse: High-Performance Distributed DBMS for Analytics | Percona Live Amsterdam - Open Source Database Conference 2016 », sur www.percona.com (consulté le )
  6. ↑ a et b (en) « Яндекс открывает ClickHouse », {{Article}} : paramètre « périodique » manquant, paramètre « date » manquant (lire en ligne)
  7. ↑ « Здоровье Маркета: как мы превращаем логи в графики, Дмитрий Андреев (Яндекс) — События Яндекса », sur events.yandex.ru (consulté le )
  8. ↑ (en) « Yandex — Yandex Launches Search Tool for LHC Events at CERN », Yandex, {{Article}} : paramètre « date » manquant (lire en ligne)
  9. ↑ (en) « Сравнение аналитических in-memory баз данных », {{Article}} : paramètre « périodique » manquant, paramètre « date » manquant (lire en ligne)
  10. ↑ (en) « Эволюция структур данных в Яндекс.Метрике », {{Article}} : paramètre « périodique » manquant, paramètre « date » manquant (lire en ligne)
  11. ↑ a et b « ClickHouse Guide », sur clickhouse.yandex (consulté le )
  12. ↑ a et b « Performance comparison of analytical DBMS », sur clickhouse.yandex (consulté le )
  13. ↑ « smi2/phpClickHouse », sur GitHub (consulté le )
  14. ↑ « apla/node-clickhouse », sur GitHub (consulté le )
  15. ↑ « elcamlost/perl-DBD-ClickHouse », sur GitHub (consulté le )
  16. ↑ « archan937/clickhouse », sur GitHub (consulté le )
  17. ↑ « hannesmuehleisen/clickhouse-r », sur GitHub (consulté le )
  18. ↑ « yandex/clickhouse-jdbc », sur GitHub (consulté le )

External links[modifier | modifier le code]

Ce document provient de « https://fr.wikipedia.org/w/index.php?title=Utilisateur:UnknownJessie/Brouillon3&oldid=144968615 ».