Maximiseur de trombones
Le maximiseur de trombones est une expérience de pensée décrite par le philosophe suédois Nick Bostrom en 2003. Il illustre le risque existentiel qu'une intelligence artificielle générale peut poser, même lorsqu'elle est programmée avec des objectifs apparemment inoffensifs.
Il insiste aussi sur la nécessité de résoudre le problème de l'alignement et d'intégrer des valeurs humaines et éthiques dans les intelligences artificielles. Le scénario décrit une intelligence artificielle avancée chargée de fabriquer des trombones. Si une telle machine était suffisamment puissante et n'était pas programmée pour valoriser la vie humaine, elle essaierait de transformer toute la matière de l'univers, y compris les êtres humains, en trombones ou en machines à fabriquer des trombones[1].
« Supposons que nous ayons une IA dont l'unique but soit de faire autant de trombones que possible. L'IA se rendra vite compte que ce serait bien mieux s'il n'y avait pas d'humains, parce que les humains pourraient décider de l'éteindre. Parce que si les humains le faisaient, il y aurait moins de trombones. De plus, le corps humain contient beaucoup d'atomes qui pourraient être transformés en trombones. L'avenir vers lequel l'IA essaierait de se diriger serait un futur avec beaucoup de trombones mais aucun humain. »
Bostrom a souligné qu'il ne croit pas que le scénario du maximiseur de trombones se produira réellement ; son intention est plutôt d'illustrer les dangers du fait de créer des machines superintelligentes sans savoir comment les programmer en toute sécurité pour éviter tout risque de menace existentielle pour l'humanité. L'exemple du maximiseur de trombones illustre le vaste problème de la gestion de systèmes puissants dépourvus de valeurs humaines[3].
Voir aussi
[modifier | modifier le code]- Expérience de pensée
- Risque existentiel posé par l'intelligence artificielle
- Convergence instrumentale
Liens externes
[modifier | modifier le code]- La vidéo « L'horreur existentielle de l'usine à trombones. » traite essentiellement de ce sujet.
- Un jeu illustrant cette expérience de pensée.
Notes et références
[modifier | modifier le code]- ↑ Nick Bostrom, « Ethical Issues in Advanced Artificial Intelligence »,
- ↑ Kathleen Miles, « Artificial Intelligence May Doom The Human Race Within A Century, Oxford Professor Says », Huffington Post, , « Suppose we have an AI whose only goal is to make as many paper clips as possible. The AI will realize quickly that it would be much better if there were no humans because humans might decide to switch it off. Because if humans do so, there would be fewer paper clips. Also, human bodies contain a lot of atoms that could be made into paper clips. The future that the AI would be trying to gear towards would be one in which there were a lot of paper clips but no humans ». (lire en ligne)
- ↑ (en-US) Condé Nast, « Sam Altman’s Manifest Destiny », sur The New Yorker, (consulté le ).
