Aller au contenu

Groq

Un article de Wikipédia, l'encyclopédie libre.
Page d’aide sur l’homonymie

Ne doit pas être confondu avec Grok (chatbot).

Groq, Inc.
logo de Groq
Création 2016
Fondateurs Jonathan Ross
Douglas Wightman
Personnages clés Andrew S. Rappaport (membre du conseil d'administration)
Chamath Palihapitiya (investisseur)
Forme juridique Société privée
Siège social Mountain View, Californie
Drapeau des États-Unis États-Unis
Direction Jonathan Ross
Activité Industrie des semi-conducteurs
Intelligence artificielle
Cloud
Produits Unité de traitement du langage (LPU)
Effectif 250 (2023)
Site web https://groq.com/
modifier - modifier le code - voir Wikidata Consultez la documentation du modèle

Groq Inc. est une société américaine d'intelligence artificielle (IA) qui construit un circuit intégré spécifique à une application (ASIC) d'accélérateur d'IA qu'elle appelle l'unité de traitement du langage (LPU - Language Processing Unit) et le matériel associé pour accélérer les performances d'inférence des charges de travail d'IA générative. Le siège social de l'entreprise est à Mountain View, en Californie, et cette dernière possède des bureaux à San Jose, Liberty Lake, Toronto et Londres, au Royaume-Uni, ainsi que des employés distants dans toute l'Amérique du Nord et en Europe.

Historique[modifier | modifier le code]

Groq a été fondée en 2016 par un groupe d'anciens ingénieurs de Google dirigés par Jonathan Ross, un des concepteurs du Tensor Processing Unit (TPU), et Douglas Wightman, entrepreneur et ancien ingénieur chez Google X[1]. Groq a reçu un financement de départ de 10 millions de dollars en 2017 de la part de l'homme d'affaires Chamath Palihapitiya [2] et a obtenu peu après un financement supplémentaire.

En avril 2021, Groq a levé 300 millions de dollars dans le cadre d'un tour de table de série C dirigé par Tiger Global Management et D1 Capital Partners[3]. Les investisseurs actuels comprennent : The Spruce House Partnership, Addition, GCM Grosvenor, Xⁿ, Firebolt Ventures, General Global Capital et Tru Arrow Partners, ainsi que les investissements de suivi de TDK Ventures, XTX Ventures, Boardman Bay Capital Management et Infinitum Partners[4],[5]. Après le cycle de financement de série C de Groq, celle-ci a été évaluée à plus d'un milliard de dollars, faisant de la startup une licorne[6].

Le 1er mars 2022, Groq a acquis Maxeler Technologies, connue pour ses technologies de systèmes de flux de données[7]. Le 16 août 2023, Groq a choisi la fonderie Samsung Electronics de Taylor, basée au Texas, pour fabriquer ses puces de nouvelle génération, sur une base de garvure de 4 nanomètres. Il s'agissait de la première commande de cette nouvelle usine de puces Samsung.

Le 19 février 2024, Groq soft a lancé GroqCloud, une plateforme de développement conçue pour inciter les développeurs à utiliser l'API Groq[8]. Le 1er mars 2024, Groq a acquis Definitive Intelligence, une startup proposant une gamme de solutions d'IA orientées entreprise, pour l'aider avec sa plateforme cloud[9].

Technologie[modifier | modifier le code]

LPU V1 de Groq.

Le nom initial de Groq pour son ASIC était Tensor Streaming Processor (TSP), avant de changer en Language Processing Unit (LPU)[10],[11],[12].

Le LPU présente une microarchitecture fonctionnellement découpée, où les unités de mémoire sont entrelacées avec des unités de calcul vectoriel et matriciel[13],[14]. Cette conception facilite l’exploitation du flux de données dans les graphiques de calcul d’IA, améliorant ainsi les performances et l’efficacité d’exécution. Le LPU a été conçu à partir de deux observations clés :

  • Les charges de travail d'IA présentent un parallélisme de données substantiel, qui peut être mappé sur du matériel spécialement conçu, conduisant à des gains de performances significatifs.
  • Une conception de processeur déterministe, associée à un modèle de programmation producteur-consommateur, permet un contrôle et un raisonnement précis sur les composants matériels, permettant d'optimiser les performances et l'efficacité énergétique.

En plus de sa microarchitecture fonctionnellement découpée, le LPU peut également être caractérisé par son architecture déterministe à cœur unique[15]. Il est capable de réaliser une exécution déterministe en évitant l'utilisation de composants matériels réactifs traditionnels ( prédicteurs de branchement, arbitres, tampons de réorganisation, caches ) en faisant contrôler explicitement toutes les exécutions par le compilateur, garantissant ainsi le déterminisme dans l'exécution d'un programme LPU.

La première génération du LPU (LPU v1) offre une densité de calcul de plus de 1 TeraOp/s par mm carré de silicium pour sa puce 25 × 29 mm 14 nm fonctionnant à une fréquence d'horloge nominale de 900 MHz. La deuxième génération du LPU (LPU v2) sera fabriquée sur le nœud de processus 4 nm de Samsung[16].

Performances[modifier | modifier le code]

Groq est devenu le premier fournisseur d'API à dépasser le taux de 100 tokens par seconde, tout en exécutant le modèle de paramètres Llama2-70B de Meta[17].

Groq héberge actuellement une variété de grands modèles de langage open source exécutés sur ses LPU pour un accès public[18]. L'accès à ces démos est disponible via le site Web de Groq. Les performances du LPU lors de l'exécution de ces LLM open source ont été évaluées de manière indépendante par ArtificialAnalysis.ai, en comparaison avec d'autres fournisseurs de LLM[19].

Performance LLM de l'unité de traitement du langage
Nom du modèle Tokens/seconde (T/s) Latence (secondes)
Lama2-70B [20],[21],[22] 253 T/s 0,3 s
Mixtral [23] 473 T/s 0,3 s
Gemma [24] 826 T/s 0,3 s

Voir également[modifier | modifier le code]

Références[modifier | modifier le code]

  • (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Groq » (voir la liste des auteurs).
  1. ↑ Levy, « Several Google engineers have left one of its most secretive AI projects to form a stealth start-up », CNBC, (consulté le )
  2. ↑ Clark, « Secretive semiconductor startup Groq raises $52M from Social Capital », TechCrunch, (consulté le )
  3. ↑ King, « Tiger Global, D1 Lead $300 Million Round in AI Chip Startup Groq », Bloomberg (consulté le )
  4. ↑ Wheatly, « AI chipmaker Groq raises $300M in Series C round », Silicon Angle, (consulté le )
  5. ↑ McFarland, « AI Chip Startup Groq Closes $300 Million in Series C Fundraising », Unite.AI (consulté le )
  6. ↑ Andonov et Lavine, « Analysis: Groq computes a $300m series C », Global Venturing, (consulté le )
  7. ↑ Prickett Morgan, « GROQ BUYS MAXELER FOR ITS HPC AND AI DATAFLOW EXPERTISE », The Next Platform, (consulté le )
  8. ↑ Franzen, « Groq launches developer playground GroqCloud with newly acquired Definitive Intelligence », Venture Beat, (consulté le )
  9. ↑ Wiggers, « AI chip startup Groq forms new business unit, acquires Definitive Intelligence », TechCrunch, (consulté le )
  10. ↑ Williams, « 'Feels like magic!': Groq's ultrafast LPU could well be the first LLM-native processor — and its latest demo may well convince Nvidia and AMD to get out their checkbooks », TechRadar Pro, TechRadar, (consulté le )
  11. ↑ Mellor, « Grokking Groq's Groqness », Blocks & Files, (consulté le )
  12. ↑ Dennis Abts, Jonathan Ross, Jonathan Sparling, Mark Wong-VanHaren, Baker, Hawkins, Bell, Thompson et Kahsai, 2020 ACM/IEEE 47th Annual International Symposium on Computer Architecture (ISCA), , 145–158 p. (ISBN 978-1-7281-4661-4, DOI 10.1109/ISCA45697.2020.00023), « Think Fast: A Tensor Streaming Processor (TSP) for Accelerating Deep Learning Workloads »
  13. ↑ Dennis Abts, Garrin Kimmell, Andrew Ling, John Kim, Boyd, Bitar, Parmar, Ahmed et Dicecco, Proceedings of the 49th Annual International Symposium on Computer Architecture, , 567–580 p. (ISBN 978-1-4503-8610-4, DOI 10.1145/3470496.3527405), « A software-defined tensor streaming multiprocessor for large-scale machine learning »
  14. ↑ Dennis Abts, Garrin Kimmell, Andrew Ling, John Kim, Boyd, Bitar, Parmar, Ahmed et Dicecco, Proceedings of the 49th Annual International Symposium on Computer Architecture, , 567–580 p. (ISBN 978-1-4503-8610-4, DOI 10.1145/3470496.3527405), « A software-defined tensor streaming multiprocessor for large-scale machine learning »
  15. ↑ Satnam Singh, Proceedings of the 2022 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays, (ISBN 978-1-4503-9149-8, DOI 10.1145/3490422.3510453), « The Virtuous Cycles of Determinism: Programming Groq's Tensor Streaming Processor », p. 153
  16. ↑ Hwang, « Samsung's new US chip fab wins first foundry order from Groq », The Korea Economic Daily (consulté le )
  17. ↑ Smith-Goodson, « Groq's Record-Breaking Language Processor Hits 100 Tokens Per Second On A Massive AI Model », Forbes (consulté le )
  18. ↑ Morrison, « Meet Groq — the chip designed to run AI models really, really fast », Tom’s Guide, (consulté le )
  19. ↑ « Groq Shows Promising Results in New LLM Benchmark, Surpassing Industry Averages », HPCwire, (consulté le )
  20. ↑ « Llama-2 Chat 70B Providers », artificialanalysis.ai (consulté le )
  21. ↑ « Groq Shows Promising Results in New LLM Benchmark, Surpassing Industry Averages », Datanami, (consulté le )
  22. ↑ « Groq Demos Fast LLMs on 4-Year-Old Silicon », EE Times, (consulté le )
  23. ↑ « Mixtral 8x7B Instruct Providers », artificialanalysis.ai (consulté le )
  24. ↑ « Gemma-7B Models Providers », artificialanalysis.ai (consulté le )
Ce document provient de « https://fr.wikipedia.org/w/index.php?title=Groq&oldid=215849399 ».