Aller au contenu

Modèle de langage de raisonnement

Un article de Wikipédia, l'encyclopédie libre.

Un modèle de langage de raisonnement ou grand modèle de raisonnement ou simplement modèle de raisonnement (en anglais : reasoning language model ou RLM) est un grand modèle de langage (LLM) entraîné pour résoudre des tâches qui nécessitent plusieurs étapes de raisonnement.

Fonctionnement

[modifier | modifier le code]

Comparé aux grands modèles de langage classiques, les modèles de raisonnement suivent une étape supplémentaire d'entraînement, souvent à base d'apprentissage par renforcement.

Un grand modèle de raisonnement produit un raisonnement étape par étape avant de fournir un résultat final, fréquemment appelé raisonnement par « chaîne de pensée » (abrégé CoT de l'anglais Chain of Thought) qui s'apparente à un processus de raisonnement humain via une décomposition en étapes. On peut considérer cela comme une imitation de la méthode pensée à voix haute, comme un système 2 de la pensée, en opposition au système 2 de la pensée des LLM.

En septembre 2024, l'entreprise OpenAI annonce o1, un grand modèle de langage spécialisé pour le raisonnement, suivi quelques mois plus tard par Google qui, en décembre introduit dans Gemini une fonctionnalité qui exécute des tâches de recherche en plusieurs étapes.

En janvier 2025, l'entreprise chinoise DeepSeek publie R1, un modèle aux performances comparables à o1 à moindre coût.

Le mois suivant, OpenAI annonce Deep Research basé sur son modèle o3, permettant aux utilisateurs de lancer des tâches de recherche complexes et de générer des rapports complets intégrant diverses sources du Web.

En juin 2025, l'entreprise française Mistral AI dévoile à son tour son propre modèle de raisonnement baptisé Magistral[1].

Les grands modèles de raisonnement peuvent obtiennent généralement de meilleurs performances sur de nombreuses tâches par rapport aux autres grands modèles de langage.

Ce type de modèle a tendance notamment à mieux réussir dans les tâches de logique, de mathématiques et de programmation que les grands modèles de langage standards.

Inconvénients

[modifier | modifier le code]

Coût de calcul

[modifier | modifier le code]

Les modèles de raisonnement nécessitent souvent beaucoup plus de calculs pour générer une réponse que les modèles de langage classique. En effet, leur fonctionnement implique la génération de nombreuses chaînes de réponses possibles et l'utilisation d'un autre modèle d'IA pour évaluer chacune d'elles et renvoyer celle la mieux notée.

Temps de génération

[modifier | modifier le code]

En raison de la tendance des modèles de langage de raisonnement à produire des sorties verbeuses, le temps nécessaire pour générer une sortie augmente considérablement par rapport à un grand modèle de langage standard.

Anthropomorphisme

[modifier | modifier le code]

L'utilisation de termes familiers tels que « raisonnement » ou « pensée » pour décrire la manière dont ces programmes fonctionnent sous-entend qu'ils seraient capables de « raisonner » ou « penser » de la même manière que les humains. Or, cela peut induire l'utilisateur en erreur (par anthropomorphisme), l'amenant à accorder une confiance excessive aux résultats.

De plus, lorsque les LLM génèrent des explications sur leur raisonnement, celles-ci ne sont pas toujours fidèles à ce que le modèle fait réellement, bien qu'il soit tentant d'interpréter ces explications comme le processus utilisé par le LLM pour résoudre une tâche[2].

Notes et références

[modifier | modifier le code]
(en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Reasoning language model » (voir la liste des auteurs).
  1. Célia Séramour, « Mistral AI se démarque avec son modèle de raisonnement Magistral », sur L'Usine digitale, (consulté le )
  2. Guillaume Serries, « L'IA ne "raisonne" pas, démystification d'un battage médiatique », sur ZDNET, (consulté le )