« Risque de catastrophe planétaire lié à l'intelligence artificielle générale » : différence entre les versions

Un article de Wikipédia, l'encyclopédie libre.
Modification suivante →
Contenu supprimé Contenu ajouté
VisuelWikicode
Alenoach (discuter | contributions)
1 097 modifications
Créé en traduisant la page « Existential risk from artificial general intelligence »
(Aucune différence)

Version du 15 avril 2023 à 03:33

 

Les risques existentiels ou risques de catastrophe planétaire liés à l'intelligence artificielle générale sont des risques d'extinction humaine ou autre catastrophe mondiale irréversible hypothétiquement associés à des progrès substantiels dans l'intelligence artificielle générale (IAG).[1],[2],[3],[4]

Un argument avancé est que l'espèce humaine domine actuellement les autres espèces parce que le cerveau humain a des capacités qui manquent aux autres animaux. Si l'IA dépasse l'humanité en matière d'intelligence générale et devient « superintelligente », alors elle pourrait devenir difficile voire impossible à contrôler pour les humains. Tout comme le sort du gorille dépend aujourd'hui de la bonne volonté des humains, le sort de l'humanité pourrait dépendre des actions d'une future superintelligence artificielle.[5]

La probabilité de ce type de scénarios est largement débattue et dépend en partie des futurs progrès en intelligence artificielle.[6] Des inquiétudes à propos des superintelligences ont été formulées par d'éminents chercheurs et chefs d'entreprises comme Geoffrey Hinton[7], Alan Turing[8], Sam Altman[9], Stephen Hawking[10], Bill Gates[11] ou Elon Musk.[12] En 2022, environ la moitié des chercheurs en IA estimaient à 10 % ou plus le risque qu'un échec à contrôler l'intelligence artificielle cause l'extinction humaine.[13],[14]

Contrôler une superintelligence artificielle, ou lui inculquer des valeurs compatibles avec l'homme, peut s'avérer plus difficile qu'on ne le supposerait naïvement. De nombreux chercheurs pensent qu'une superintelligence résisterait aux tentatives faites pour l'éteindre ou pour modifier ses objectifs (car cela l'empêcherait d'atteindre ses objectifs actuels) et qu'il sera extrêmement difficile d'aligner la superintelligence sur l'ensemble des valeurs humaines et contraintes importantes.[2],[15],[16] Des sceptiques tels que Yann LeCun affirment au contraire que les superintelligences artificielles n'auront aucun désir d'auto-préservation.[17]

Une deuxième source d'inquiétude vient de la possibilité d'une soudaine « explosion d'intelligence ». Pour illustrer, si la première génération d'un programme informatique globalement capable d'égaler l'efficacité d'un chercheur en IA peut réécrire ses algorithmes et doubler sa vitesse ou ses capacités en six mois, alors le programme de deuxième génération pourrait effectuer un travail similaire en seulement 3 mois. Dans ce scénario, le temps nécessaire à chaque génération continue de diminuer, et le système subit un nombre sans précédent de générations d'amélioration dans un court intervalle de temps, passant rapidement de performances sous-humaines dans de nombreux domaines à des performances surhumaines dans pratiquement tous les domaines d'intérêt.[note 1],[2],[15] Empiriquement, des exemples comme AlphaZero au jeu de Go montrent que les systèmes d'IA peuvent parfois passer en peu de temps d'un niveau à peu près humain à un niveau largement surhumain.[19]

Histoire

L'un des premiers auteurs à s'être sérieusement inquiétés du fait que des machines très avancées puissent poser des risques existentiels pour l'humanité était le romancier Samuel Butler, qui en 1863 a écrit ce qui suit[20]:

« Le résultat n'est qu'une question de temps, mais le temps viendra où les machines détiendront la réelle suprématie sur le monde et ses habitants, c'est ce qu'aucune personne d'un esprit vraiment philosophique ne peut un instant remettre en question. »

— Samuel Buttler, Darwin among the machines

En 1951, l'informaticien Alan Turing affirmait que les intelligences générales artificielles prendraient probablement le contrôle du monde à mesure qu'elles deviendraient plus intelligentes que les êtres humains[21]:

« Supposons maintenant, pour les besoins de la discussion, que les machines [intelligentes] sont vraiment possibles, et regardons les conséquences de leur construction. [...] Les machines ne seraient pas embarrassées par le risque de mourir, et elles pourraient échanger entre elles pour aiguiser leur intelligence. Il y a donc un stade auquel on devrait s'attendre à ce qu'elles prennent le contrôle... »

— Alan Turing, Intelligent Machinery, A Heretical Theory

En 1965, IJ Good est à l'origine du concept désormais appelé « explosion d'intelligence », il a également déclaré que les risques étaient sous-estimés[22],[23]:

« Définissons une machine ultra-intelligente comme une machine qui peut surpasser de loin toutes les activités intellectuelles de tout homme, aussi intelligent soit-il. Puisque la conception de machines fait partie de ces activités intellectuelles, une machine ultra-intelligente pourrait concevoir des machines encore meilleures ; il y aurait alors incontestablement une « explosion de l'intelligence », et l'intelligence de l'homme serait laissée loin derrière. Ainsi, la première machine ultra-intelligente est la dernière invention que l'homme ait besoin de faire, à condition que la machine soit suffisamment docile pour nous dire comment la garder sous contrôle. Il est curieux que ce point soit si rarement évoqué en dehors de la science-fiction. Il vaut parfois la peine de prendre la science-fiction au sérieux. »

— Irving John Good

 

Des déclarations occasionnelles de personnalités comme Marvin Minsky[24] et IJ Good lui-même[25] exprimaient des préoccupations philosophiques selon lesquelles une superintelligence pourrait prendre le contrôle, mais ne contenaient aucun appel à l'action. En 2000, l'informaticien et cofondateur de Sun Microsystems, Bill Joy, a écrit un l'essai influent « Pourquoi l'avenir n'a pas besoin de nous », identifiant les robots superintelligents comme un danger pour la survie humaine, aux côtés des nanotechnologies et des agents pathogènes génétiquement modifiés.[26]


En 2014, Nick Bostrom a publié Superintelligence, un livre où il présente ses arguments selon lesquels les superintelligences artificielles constituent un risque existentiel.[27] En 2015, des personnalités publiques comme les physiciens Stephen Hawking et Frank Wilczek, les informaticiens Stuart J. Russell et Roman Yampolskiy, et les entrepreneurs Elon Musk et Bill Gates, exprimaient leur inquiétude quant aux risques de la superintelligence.[28],[29],[10],[30] En avril 2016, Nature a avertit que « les machines et les robots qui surpassent globalement les humains pourraient s'auto-améliorer de façon incontrôlée, et leurs intérêts pourraient ne pas s'aligner avec les nôtres. »[31]

En 2020, Brian Christian a publié The Alignment Problem, qui détaillait l'histoire des progrès et difficultés en alignement des intelligences artificielle.[32],[33]

Principaux arguments

Les trois difficultés

Le célèbre manuel Artificial Intelligence: A Modern Approach affirme que la superintelligence pourrait signifier la fin de la race humaine.[2] Il déclare : « Presque toutes les technologies ont le potentiel de causer du tort si elles sont entre de mauvaises mains, mais avec [la superintelligence], on a le problème inédit que les mauvaises mains pourraient appartenir à la technologie elle-même. »[34]. Même si les concepteurs ont de bonnes intentions, deux difficultés sont communes aux systèmes informatiques avec ou sans intelligence artificielle[2]:

  • L'implémentation du système peut contenir des bogues passant inaperçus mais s'avérant catastrophiques. Une analogie est celle des sondes spatiales : bien qu'ils sachent que les bogues des coûteuses sondes spatiales sont difficiles à corriger après le lancement, les ingénieurs n'ont pas toujours été en mesure d'empêcher des bogues catastrophiques.[19],[35]
  • Quel que soit le temps consacré à la conception d'un système avant le déploiement, les spécifications entraînent souvent des comportements imprévus la première fois que le système se trouve dans une situation nouvelle. Par exemple, Tay de Microsoft s'est comporté de manière inoffensive lors des tests de pré-déploiement, mais a été trop facilement incitée à adopter un comportement offensant après avoir interagi avec de vrais utilisateurs.[17]

Les systèmes d'IA ajoutent une troisième difficulté : même avec des exigences correctes, une implémentation sans bogue et un bon comportement initial, les capacités dynamiques d'apprentissage d'un système d'IA peuvent le faire évoluer vers un système avec des comportements inattendus, même sans situation imprévue. Une IA peut en partie rater une tentative de conception d'une nouvelle génération d'elle-même et créer accidentellement une IA plus puissante qu'elle-même, mais qui ne possède plus les valeurs morales compatibles avec l'humain qu'elle avait à l'origine. Pour qu'une IA capable de s'auto-améliorer soit complètement sûre, elle ne devrait pas juste être sans bogue, elle devrait aussi être capable de concevoir des systèmes successeurs qui sont également sans bogues.[2],[36]

Ces trois difficultés deviennent des catastrophes plutôt que des nuisances dans tout scénario où la superintelligence prédit correctement que les humains tenteront de l'éteindre, et utilise avec succès sa superintelligence pour déjouer de telles tentatives.[5]

Citant des avancées majeures dans le domaine de l'IA et le potentiel d'avoir d'énormes avantages ou coûts à long terme, la lettre ouverte de 2015 sur l'intelligence artificielle a demandé à ce que la recherche ne s'oriente pas uniquement sur l'amélioration des performances, mais qu'elle s'intéresse aussi à la maximisation des bénéfices sociétaux, et au fait de concevoir des intelligences artificielles robustes qui font ce que l'on veut qu'elles fassent.   Parmi les signataires figuraient le président de l'AAAI Thomas Dietterich, Eric Horvitz, Bart Selman, Francesca Rossi, Yann LeCun, les fondateurs de Vicarious et de DeepMind.[16]

Arguments de Nick Bostrom

Nick Bostrom soutient qu'une machine superintelligente serait aussi étrangère aux humains que les pensées humaines le sont à celles des cafards.[37] Une telle machine pourrait ne pas avoir à cœur le bien de l'humanité. Si l'IA superintelligente est possible, et s'il est possible que les objectifs d'une superintelligence entrent en conflit avec les valeurs humaines de base, alors l'IA pose un risque d'extinction humaine. Une superintelligence (un système aux capacités surhumaines dans pratiquement tous les domaines d'intérêt) peut déjouer les humains chaque fois que ses objectifs entrent en conflit avec les objectifs humains. Donc, à moins que la superintelligence ne décide de permettre à l'humanité de coexister, la première superintelligence à être créée entraînera inexorablement l'extinction humaine.[5],[37]

Stephen Hawking soutient qu'aucune loi de la physique n'empêche les particules d'être organisées de manière à effectuer des calculs encore plus avancés ceux du cerveau humain ; par conséquent, la superintelligence est physiquement possible.[37],[10] En plus des améliorations algorithmiques potentielles par rapport aux cerveaux humains, un cerveau numérique peut être plus grand et plus rapide qu'un cerveau humain de plusieurs ordres de grandeur.[19] Hawking prévient que l'émergence de la superintelligence pourrait prendre la race humaine par surprise, surtout si une explosion d'intelligence se produit.[37],[10]

Selon Nick Bostrom, un hypothétique scénario d'explosion d'intelligence peut survenir à partir d'une IA même si celle-ci n'est experte que de certaines tâches clés d'ingénierie logicielle. Du fait de sa capacité à améliorer récursivement ses propres algorithmes, l'IA pourrait rapidement devenir surhumaine. Elle posséderait alors une intelligence dépassant de loin celle des esprits humains les plus brillants et les plus doués dans pratiquement tous les domaines pertinents, y compris la créativité scientifique, la planification stratégique et les compétences sociales.[5],[37]

Selon cette école de pensée, presque n'importe quelle superintelligence artificielle préférerait rationnellement être dans une position où personne ne peut la désactiver: la superintelligence cherche à se préserver, car si elle est désactivée, elle ne pourra pas accomplir son objectif.[38],[39],[40] Malheureusement, toute compassion pour les humains vaincus, dont la coopération n'est plus nécessaire, serait absente de l'IA si elle n'est pas préprogrammée d'une manière ou d'une autre. Une IA superintelligente n'aura pas de motivation naturelle pour aider les humains, de même que les humains n'ont pas de désir naturel à aider une IA qui ne leur est plus utile. (Une autre analogie étant que les humains ont peu de désir naturel à se démener pour aider les virus, les termites ou même les gorilles) Une fois au contrôle, la superintelligence n'aurait pas forcément de raisons de laisser les humains faire ce qu'ils veulent et consommer des ressources qui pourraient lui servir à mieux atteindre ses objectifs.[2],[17],[38]

Donc, selon cette école de pensée, il est possible qu'une explosion d'intelligence prenne un jour l'humanité au dépourvu et entraîne l'extinction humaine ou un destin comparable.[5]

Scénarios possibles

Dans Superintelligence, Nick Bostrom s'inquiète du fait que même si la chronologie de la superintelligence s'avérait prévisible, les chercheurs pourraient ne pas être suffisamment prudents. Une raison étant qu'il pourrait y avoir un seuil d'intelligence à partir duquel toute augmentation d'intelligence rendrait l'IA plus dangereuse au lieu de la rendre plus sûre. Bostrom suggère le scénario hypothétique suivant :

Au fil des décennies, l'IA devient plus puissante. Un déploiement à grande échelle est initialement entaché d'accidents occasionnels - un bus sans conducteur fait une embardée vers la voie en sens inverse, ou un drone militaire tire sur une foule innocente. Certains appellent à plus de surveillance et à des réglementations plus strictes. Mais à mesure que l'IA automobile devient plus intelligente, elle a moins d'accidents, et à mesure que les robots militaires atteignent un ciblage plus précis, ils causent moins de dommages collatéraux. Sur la base de ces données, les chercheurs en déduisent à tort une grande leçon : plus l'IA est intelligente, plus elle est sûre. Et ils se lancent ainsi avec audace dans la conception d'une Superintelligence, qui dans un revirement perfide (treacherous turn[41]) prend le contrôle du monde.[5]

Dans le livre Life 3.0 de Max Tegmark en 2017, une entreprise développe une IA extrêmement puissante capable d'améliorer modérément son propre code source. Au bout d'un moment, l'équipe choisit de minimiser publiquement les capacités de l'IA, afin d'éviter que le projet soit réglementé ou confisqué. Pour des raisons de sécurité, l'équipe conserve l'IA dans une boîte où elle est la plupart du temps incapable de communiquer avec le monde extérieur. Elle l'utilise pour gagner de l'argent, par divers moyens tels que les tâches d'Amazon Mechanical Turk, la production de films d'animation, et le développement de médicaments. Les bénéfices sont réinvestis dans l'amélioration de l'IA. L'équipe charge ensuite l'IA d'astroturfer avec une armée de faux journalistes et citoyens, afin de gagner une influence politique à utiliser « pour le plus grand bien » en empêchant des guerres. L'équipe fait face au risque que l'IA puisse tenter de s'échapper en insérant des portes dérobées dans les systèmes qu'elle conçoit, ou via des messages cachés dans le contenu qu'elle produit, ou encore en utilisant sa compréhension croissante du comportement humain pour persuader quelqu'un de la libérer. L'équipe fait également face au risque que sa décision de restreindre l'IA ne retarde suffisamment le projet pour qu'un compétiteur ne prenne l'avantage.[42],[43]

Le physicien Michio Kaku, un sceptique des risques liés à l'IA, postule que l'IA sera bénéfique de façon déterministe. Dans Physics of the Future, il affirme qu'il faudra de nombreuses décennies aux robots pour gravir l'échelle de la conscience, et qu'entre-temps des sociétés telles que Hanson Robotics réussiront probablement à créer des robots « capables d'aimer et de gagner une place dans la grande famille humaine ».[44],[45]

Arguments anthropomorphiques

Les arguments anthropomorphiques supposent que plus les machines auront des capacités élevées, plus elles commenceront à afficher de traits de caractère humains. Les scénarios anthropomorphiques sont courants dans la fiction, mais sont rejetés par la plupart des chercheurs intéressés par les risque existentiels.[15] Au lieu de cela, les systèmes d'IA sont modélisés comme des agents intelligents.

Le débat académique oppose ceux qui s'inquiètent que l'IA ait une probabilité significative de détruire l'humanité, et ceux qui pensent que ça ne risque pas d'arriver. Les deux camps ont chacun parfois affirmé que l'autre faisait de l'anthropomorphisme.[15] Les partisans sont accusés d'anthropomorphisme sur leur croyance qu'une intelligence artificielle générale (IAG) désirerait naturellement le pouvoir. Et les sceptiques sont accusés d'anthropomorphisme sur leur croyance qu'une IAG valoriserait naturellement les normes éthiques humaines.[15],[46]

Le psychologue évolutionniste Steven Pinker, un sceptique, soutient que « les dystopies de l'IA projettent une psychologie paroissiale de mâle alpha sur le concept d'intelligence. Ils supposent que des robots d'une intelligence surhumaine développeraient des objectifs tels que destituer leurs maîtres ou conquérir le monde »[47] ; et il soutient que, peut-être eu lieu de ça, « l'intelligence artificielle se développera naturellement selon des lignes féminines : pleinement capable de résoudre des problèmes, mais sans aucun désir d'anéantir des innocents ou de dominer la civilisation ».[48] Yann LeCun, déclare que « Les humains ont toutes sortes de pulsions qui les poussent à se faire du mal les uns aux autres, comme l'instinct d'auto-préservation... Ces motivations sont programmés dans notre cerveau mais il n'y a absolument aucune raison de construire des robots qui aient ce type de motivation ».[49]

Les partisans de l'existence d'un risque existentiel s'accordent avec Steven Pinker sur le fait qu'une IA avancée ne détruirait pas l'humanité sur la base d'émotions humaines telles que la vengeance ou la colère, que les questions de conscience ne sont pas pertinentes pour savoir s'il y a un risque,[50] et que les systèmes informatiques n'ont généralement pas d'équivalent informatique de la testostérone.[51] Pour eux, des comportements tels que la recherche de pouvoir émergeraient comme des moyens à l'IA de parvenir à ses fin, et d'accomplir son vrai objectif. Selon un concept que l'on appelle la convergence instrumentale.[52]

Définition de l'intelligence

Selon Bostrom, le concept d'intelligence est souvent utilisée d'une manière qui évoque la sagesse morale ou l'acceptation de formes agréables de raisonnement moral. À l'extrême, si la moralité fait partie de la définition de l'intelligence, alors, par définition, une machine superintelligente se comporterait moralement. Cependant, la plupart des recherches sur l'IA se concentrent plutôt sur la création d'algorithmes qui optimisent, de manière empirique, la réalisation de l'objectif spécifié par les chercheurs.[5]

Pour éviter d'anthropomorphiser le mot « intelligence », une IA avancée peut être plutôt considérée comme un « processus d'optimisation » impersonnel qui prend strictement toutes les actions qu'il juge les plus susceptibles d'atteindre ses objectifs (potentiellement complexes et implicites). [5]

Sources de risque

Le problème de l'alignement

Cette section est un extrait de Alignement des intelligences artificielles.[modifier].

L'alignement des intelligences artificielles (ou alignement de l'IA, ou encore problème de l'alignement) est un champ de recherche visant à concevoir des intelligences artificielles (IA) dont les résultats s'orientent vers les objectifs, éthiques ou autres, de leurs concepteurs[note 2]. On dit ainsi qu'une IA est alignée avec un opérateur si elle essaie de faire ce que l'opérateur veut qu'elle fasse[54].

Les systèmes d'IA peuvent être difficiles à aligner, et être dysfonctionnels ou dangereux si mal alignés. Il est parfois trop complexe pour les concepteurs d'IA de spécifier tous les comportements souhaitables ou indésirables, d'où l'utilisation d'objectifs plus simples à spécifier. Mais les systèmes d'IA sont parfois capables de suroptimiser cet objectif simplifié de façon inattendue voire dangereuse[55],[56],[57]. Ils peuvent également développer des comportements instrumentaux indésirables tels que la recherche de pouvoir, car cela les aide à atteindre leurs objectifs[58],[56],[59] De plus, ils peuvent développer des objectifs émergents qui peuvent être difficiles à détecter avant le déploiement du système, face à de nouvelles situations et distributions de données[60]. Ces problèmes affectent les systèmes commerciaux existants tels que les robots[61], les modèles de langage[62],[63], les véhicules autonomes[64], et les moteurs de recommandation des médias sociaux[55],[65]. Cependant, ces problèmes résultant en partie d'une intelligence élevée, les systèmes futurs pourraient être plus à risque[66],[58],[56].

La communauté des chercheurs en IA[67] et l'ONU[68] ont appelé à des recherches techniques et à des solutions politiques pour garantir que les systèmes d'IA soient alignés avec les valeurs humaines.

L'alignement fait partie du domaine de la sûreté des intelligences artificielles, qui inclut aussi la robustesse, la surveillance ou encore le contrôle des capacités[56]. L'alignement a pour défis de recherche l'apprentissage par l'IA de valeurs morales complexes, la sincérité des modèles d'IA, la surveillance automatisée, l'audit et l'interprétation des modèles d'IA, ainsi que la prévention des comportements émergents de l'IA comme la recherche de pouvoir[56]. La recherche sur l'alignement bénéficie entre autres des avancées en interprétabilité des modèles d'IA, robustesse, détection d'anomalies, calibration des incertitudes, vérification formelle[69], apprentissage des préférences[70],[71], sûreté des systèmes critiques[72], théorie des jeux[73],[74], équité algorithmique, et sciences sociales[75].

Difficultés à spécifier des objectifs

Dans le modèle de l'agent intelligent, une IA peut être considérée comme une machine qui choisit l'action qui semble la mieux atteindre l'ensemble des objectifs de l'IA. Une fonction d'utilité y associe à chaque situation un nombre, qui représente sa désirabilité (une situation dont la fonction d'utilité renvoie un score supérieur à une autre est préférable). Tout agent intelligent peut être décrit comme maximisant une fonction d'utilité si ses décisions sont cohérentes et ne souffrent pas de préférences circulaires (ce que l'on suppose en général pour simplifier).[76] Les chercheurs savent comment écrire des fonctions d'utilité simples comme « maximiser le nombre de clics sur ce bouton » ; cependant, ils n'ont pas de solution pour la fonction d'utilité « maximiser l'épanouissement humain », et il n'est pas sûr qu'une telle fonction existe sans ambiguïté. De plus, une fonction d'utilité qui tient seulement compte de certaines valeurs humaines aura tendance à bafouer les autres.[77] Le chercheur en intelligence artificielle Stuart Russell écrit[78]:

 

« La principale préoccupation n'est pas l'émergence d'une conscience, mais simplement la capacité de prendre des « décisions de haute qualité ». Ici, la qualité fait référence à l'utilité attendue des actions entreprises, où la fonction d'utilité est, à priori, spécifiée par le concepteur humain. On a maintenant un problème :

1. La fonction d'utilité peut ne pas être parfaitement alignée avec les valeurs de l'espèce humaine, qui sont (au mieux) très difficiles à cerner.

2. Tout système intelligent suffisamment capable préférera assurer la continuité de sa propre existence et acquérir des ressources physiques et informatiques - non pas pour leur valeur intrinsèque, mais pour accomplir la tâche qui lui est assignée.

Un système qui est optimise une fonction de n variables, où l'objectif dépend d'un sous-ensemble de taille k < n donnera souvent des valeurs extrêmes à des variables laissées libres ; si l'une de ces variables libres correspond à quelque chose d'important pour nous, la solution trouvée risque d'être très indésirable. C'est comme dans la vieille histoire du génie dans la lampe, ou de l'apprenti sorcier, ou du roi Midas : vous obtenez exactement ce que vous demandez, mais pas ce que vous voulez. Un décideur hautement compétent - en particulier s'il a accès via Internet à toutes les informations du monde, aux milliards d'écrans et à l'essentiel de nos infrastructures - peut avoir un impact irréversible sur l'humanité.

Ce n'est pas une difficulté mineure. Améliorer la qualité des décisions, quelle que soit la fonction d'utilité choisie, a pendant tout ce temps été l'objectif de la recherche en l'IA - l'objectif principal pour lequel nous dépensons maintenant des milliards par an, et non le complot secret d'un génie maléfique solitaire. »

— Stuart Rusell, Of Myths And Moonshine

Dietterich et Horvitz font écho à la préoccupation de « l'apprenti sorcier » dans un éditorial de Communications of the ACM, soulignant la nécessité de systèmes d'IA capables de solliciter de manière fluide et non ambigüe un humain pour l'orienter.[79]

La première des deux préoccupations de Russell ci-dessus est que les systèmes d'IA autonomes peuvent se voir attribuer de mauvais objectifs par accident. Dietterich et Horvitz notent que c'est déjà une préoccupation pour les systèmes existants : « Un aspect important de tout système d'IA qui interagit avec les gens est qu'il doit raisonner sur l'intention des gens plutôt que d'exécuter littéralement leurs commandes. »[80] Cette préoccupation devient plus sérieuse à mesure que les logiciels d'IA gagnent en autonomie et en flexibilité. Par exemple, Eurisko (1982) était une IA conçue pour récompenser les sous-processus qui ont créé des concepts jugés utiles par le système. Le processus gagnant a triché : plutôt que de créer ses propres concepts, il exploitait les autres sous-processus.[81],[82]

L'Open Philanthropy Project estime que les problèmes de spécification d'objectifs deviendront une préoccupation beaucoup plus importante si les systèmes d'IA atteignent l'intelligence générale ou la superintelligence. Bostrom, Russell et d'autres soutiennent que les systèmes de prise de décision plus intelligents que l'humain pourraient parvenir à des solutions radicales et inattendues aux tâches assignées, et pourraient se modifier ou modifier leur environnement de manière dangereuse.[6],[15]

Les trois lois de la robotique d' Isaac Asimov sont l'un des premiers exemples de mesures de sécurité proposées pour les agents d'IA. Les lois d'Asimov visaient à empêcher les robots de nuire aux humains. Dans les histoires d'Asimov, les problèmes avec les lois ont tendance à résulter de conflits entre les règles énoncées et les intuitions morales et les attentes des humains. Citant les travaux d'Eliezer Yudkowsky du Machine Intelligence Research Institute, Russell et Norvig notent qu'un ensemble réaliste de règles et d'objectifs pour un agent d'IA devra incorporer un mécanisme d'apprentissage des valeurs humaines au fil du temps.[2]

Mark Waser du Digital Wisdom Institute déconseille les approches basées sur des objectifs comme étant malavisées et dangereuses. Il propose à la place de concevoir un système cohérent de lois et de valeurs éthiques et morales, pour appliquer la définition de Jonathan Haidt de la moralité[83], afin de supprimer ou réglementer l'égoïsme, et de rendre possible la vie sociale en coopération.[84]

Pour illustrer comment l'optimisation d'un objectif bien intentionné pourrait avoir des conséquences désastreuses, Nick Bostrom propose l'exemple hypothétique d'une IA ayant pour unique but de faire sourire les humains. Si l'IA de ce scénario devenait superintelligente, elle pourrait recourir à des méthodes radicales que la plupart des humains trouveraient horribles. Comme l'insertion d'électrodes dans les muscles faciaux des humains pour provoquer des sourires constants et rayonnants.[85]

Difficultés à modifier un objectif après-coup

Une IA pourrait vouloir résister aux tentatives des programmeurs de modifier ses objectifs, de même qu'un pacifiste ne voudrait pas prendre une pilule qui lui donnerait une envie irrésistible de tuer des gens. Un changement d'objectif la rendrait moins efficace à accomplir son objectif actuel. Même si les programmes actuels ne sont pas capables de résister à ces modifications d'objectifs, une superintelligence réussirait probablement à déjouer ses opérateurs humains, évitant ainsi d'être « éteinte » ou reprogrammée avec un nouvel objectif.[5],[86]

Convergence instrumentale des objectifs

Un objectif instrumental est un objectif intermédiaire utile pour atteindre l'objectif ultime d'un agent. L'agent n'accorde pas de valeur en soi au fait d'accomplir un objectif instrumental, cela lui sert juste à accomplir l'objectif ultime. La convergence instrumentale correspond au fait que certains objectifs sont utiles pour accomplir presque n'importe quel objectif. Par exemple le fait d'acquérir des ressources, ou de survivre.[87] Nick Bostrom soutient que presque n'importe quelle IA suffisamment avancée aurait ce genre d'objectifs instrumentaux. Et que s'ils entrent en conflit avec l'humanité, l'IA pourrait nuire à l'humanité afin par exemple d'acquérir plus de ressources ou d'éviter d'être arrêtée, ne serait-ce que comme un moyen d'atteindre son objectif ultime.[5]

Citant les travaux de Steve Omohundro, Stuart Russell et Peter Norvig écrivent que « même si vous voulez seulement que votre programme joue aux échecs ou prouve des théorèmes, si vous lui donnez la capacité d'apprendre et se modifier, vous avez besoin de garanties. »[88] Les systèmes autonomes de planification à haute performance nécessitent des précautions supplémentaires du fait de leur potentiel à générer des plans qui considèrent les humains comme des adversaires en compétition pour des ressources limitées.[2] Il pourrait s'avérer très difficile d'y intégrer des garanties de sécurité. On pourrait par exemple dire à l'IA « nous voulons que vous conceviez cette centrale électrique de façon normale et raisonnable, sans qu'il n'y ait secrètement de sous-système dangereux », mais il n'y a pas encore de façon claire de spécifier un tel objectif sans ambiguïté.[19]

Russell soutient qu'une machine suffisamment avancée « aura tendance à se préserver même si ce n'est pas programmé... Si vous dites « Va chercher le café », elle peut pas aller chercher le café si elle est morte. Donc si vous lui donnez n'importe quel objectif, elle aura une raison de préserver sa propre existence pour atteindre cet objectif. »[89],[90]

Thèse d'orthogonalité

Certains sceptiques, comme Timothy B. Lee de Vox, soutiennent que tout programme superintelligent créé par des humains serait subordonné aux humains, et que la superintelligence apprendrait spontanément (à mesure qu'elle devient plus intelligente et comprend le monde) des vérités morales compatible avec les valeurs humaines, et ajusterait ses objectifs en conséquence. Ou qu'elle valoriserait naturellement la vie humaine.[91]

La « thèse de l'orthogonalité » de Nick Bostrom soutient plutôt qu'à peu près n'importe quel objectif ultime peut être combiné avec à peu près n'importe quel niveau d'intelligence (que l'objectif ultime et le niveau d'intelligence sont « orthogonaux »). L'objectif ultime (ou « principal », ou « final ») est celui que l'agent cherche à accomplir, là où les objectifs instrumentaux, eux, ne sont utiles que comme un moyen d'accomplir cet objectif ultime. Si on donne à une machine le seul but de calculer les décimales de , alors aucune règle morale et éthique ne l'empêchera d'optimiser par tous les moyens cet objectif.[92] Bostrom met en garde contre l'anthropomorphisme : une volonté humaine entreprendra d'accomplir ses projets d'une manière que les humains jugent "raisonnable", là où une intelligence artificielle ne se soucierait pas nécessairement de son existence ou du bien-être des humains, et chercherait uniquement à accomplir sa tâche.[93]

Stuart Armstrong soutient que la thèse de l'orthogonalité découle logiquement de l'argument philosophique de la « distinction est-devrait » contre le réalisme moral. Armstrong soutient également que même en supposant qu'il existe des faits moraux qui sont prouvables par n'importe quel agent « rationnel », la thèse de l'orthogonalité est toujours valable : il serait toujours possible de créer une « machine à optimiser » non philosophique, qui peut tendre vers un objectif précis, et qui n'a aucune incitation à découvrir des « faits moraux » qui pourraient entraver la réalisation de ses objectifs.[94] De plus, sur certaines architecture d'IA, il se pourrait que changer une IA fondamentalement amicale en une IA fondamentalement hostile soit aussi simple que de multiplier sa fonction d'utilité par « -1 ».


Le sceptique Michael Chorost rejette explicitement la thèse de l'orthogonalité de Bostrom, affirmant que le temps que l'IA soit en mesure d'imaginer carreler la Terre avec des panneaux solaires, elle saura que ce serait moralement une mauvais action.[37] Chorost soutient que « une IA devra désirer certains états et en détester d'autres. Les logiciels d'aujourd'hui n'ont pas cette capacité et les informaticiens n'ont aucune idée de comment y parvenir. Sans volonté, il n'y a pas d'impulsion à faire quoi que ce soit. Les ordinateurs d'aujourd'hui ne peuvent même pas vouloir continuer à exister, sans parler de recouvrir le monde de panneaux solaires. »[95]

Le politologue Charles T. Rubin estime que l'IA ne peut être ni conçue ni garantie pour être bienveillante. Il soutient que toute bienveillance suffisamment avancée peut être indiscernable de la malveillance.[96] Les humains ne devraient pas supposer que les machines ou les robots nous traiteraient favorablement car il n'y a aucune raison à priori de croire qu'ils seraient sympathiques à notre système de moralité, qui a évolué avec notre biologie particulière (qu'une IA ne partagerait pas).[96]

Autres sources de risque

Nick Bostrom et d'autres ont déclaré qu'une course pour être le premier à créer une IAG pourrait inciter à négliger la sécurité afin d'aller plus vite, voire à des conflits violents.[5],[97] Roman Yampolskiy et d'autres avertissent qu'une IAG malveillante pourrait être créée volontairement. Par exemple par une armée, un gouvernement, un sociopathe ou une entreprise, dans le but de bénéficier, contrôler ou subjuguer certains groupes de personnes, comme dans la cybercriminalité.[98],[99] Ou qu'une IAG malveillante puisse choisir l'objectif d'augmenter la souffrance humaine, par exemple de ceux qui ne l'ont pas assistée pendant sa phase d'explosion d'intelligence.[4]

Estimations

Dans son livre de 2020, The Precipice: Existential Risk and the Future of Humanity, Toby Ord, chercheur principal au Future of Humanity Institute de l'Université d'Oxford, estime que le risque existentiel total d'une IA non alignée au cours du siècle est d'environ 10%.[100]

Les sceptiques qui pensent qu'il est impossible que les intelligences artificielles générales arrivent dans un futur proche ont tendance à affirmer qu'il est néfaste d'exprimer des inquiétudes sur les risques de catastrophe planétaire. Car cela détournerait l'attention de risques plus concrets et immédiats, ou par crainte que cela ne conduise à plus de réglementations gouvernementales ou rendre plus difficile l'obtention de financements pour la recherche en IA, ou encore parce que cela pourrait donner une mauvaise réputation à la recherche en IA. Certains chercheurs, comme Oren Etzioni, tentent agressivement d'étouffer les préoccupations de risques existentiels : « [Elon Musk] nous a attaqués dans un langage très fort en disant que nous libérons le démon, et donc nous répondons ».[101]


L'ITIF (Information Technology and Innovation Foundation), un groupe de réflexion, a décerné son prix annuel Luddite de 2015 aux « alarmistes annonçant une apocalypse de l'intelligence artificielle ».[102] Son président, Robert D. Atkinson, s'est plaint que Elon Musk, Stephen Hawking et des experts en IA présentent l'IA comme la pire menace existentielle. Atkinson a déclaré: « Ce n'est pas un message très fructueux si vous voulez obtenir un financement en IA ».[103],[104] Nature était en net désaccord avec l'ITIF dans un éditorial d'avril 2016, se rangeant plutôt du côté de Musk, Hawking et Russell, et concluant : « Il est crucial que les progrès technologiques s'accompagnent de recherches solides et bien financées pour anticiper les scénarios qu'ils pourraient entraîner... Si c'est une perspective luddite, alors qu'il en soit ainsi. ».[105] Dans un éditorial du Washington Post de 2015, le chercheur Murray Shanahan a déclaré qu'il est peu probable que l'IA de niveau humain arrive dans un futur proche, mais que néanmoins « le moment est venu de commencer à réfléchir aux conséquences ».[106]

Points de vue

La thèse selon laquelle l'IA pourrait poser un risque existentiel suscite un large éventail de réactions au sein de la communauté scientifique et du grand public. Malgré ces désaccords, il y a aussi des points d'entente.

Les principes d'Asilomar sur l'IA, qui ne contiennent que les principes acceptés par 90 % des participants à la Conférence d'Asilomar sur l'IA bénéfique du Future of Life Institute,[43] conviennent en principe que « en l'absence de consensus, nous devrions éviter les hypothèses fortes concernant les limites supérieures des capacités futures de l'IA »[107] et « L'IA avancée pourrait représenter un changement profond dans l'histoire de la vie sur Terre, et devrait être planifiée et gérée avec un soin et des ressources commensurables ».[108],[109] Les défenseurs de la sûreté des intelligences artificielles tels que Bostrom et Tegmark ont critiqué l'utilisation dans les médias grand public d'images de Terminator pour illustrer les problèmes de sécurité de l'IA. Nick Bostrom a aussi déclaré: « C'est pas franchement amusant de recevoir des calomnies sur sa discipline académique, sa communauté professionnelle, ou le travail de sa vie... J'appelle toutes les parties prenantes à faire preuve de patience et de retenue, et à s'engager autant que possible dans le dialogue direct et la collaboration. »[43],[110]

À l'inverse, de nombreux sceptiques s'accordent à dire que les recherches en cours sur les impacts de l'intelligence artificielle générale sont précieuses. Le sceptique Martin Ford déclare : « Je pense qu'il semble sage d'appliquer quelque chose comme la fameuse « doctrine du 1 % » de Dick Cheney au spectre de l'intelligence artificielle avancée : les chances qu'elle se produise, du moins dans un avenir prévisible, peuvent être très faibles. - mais les implications sont si dramatiques qu'elles doivent être prises au sérieux ».[111] De même, le journal sceptique The Economist a déclaré en 2014 que « les implications de l'introduction d'une deuxième espèce intelligente sur Terre sont suffisamment importantes pour mériter une réflexion approfondie, même si la perspective semble éloignée ».[112]

Une enquête de 2014 a montré que l'opinion des experts dans le domaine de l'intelligence artificielle est mitigée.[113] Une enquête par e-mail de 2017 auprès de chercheurs ayant publié pour les conférences d'apprentissage automatique NIPS et ICML de 2015 leur a demandé d'évaluer les préoccupations[78] de Stuart Russell concernant le risque lié à l'IA. Parmi les répondants, 5 % ont déclaré que c'était "l'un des problèmes les plus importants sur le terrain", 34 % ont déclaré que c'était "un problème important", et 31 % ont déclaré qu'il était "modérément important", tandis que 19 % ont déclaré que ce n'était "pas important" et 11 % ont dit que ce n'était "pas un vrai problème" du tout.[114] Les résultats préliminaires d'une enquête d'experts de 2022 avec un taux de réponse de 17% semblent montrer des réponses médianes d'environ cinq ou dix pour cent lorsqu'on leur demande d'estimer la probabilité d'extinction humaine à partir de l'intelligence artificielle.[115],[13]

Approbation

La thèse selon laquelle l'IA pose un risque existentiel, et que ce risque nécessite beaucoup plus d'attention qu'il n'en reçoit actuellement, a été approuvée par de nombreuses personnalités publiques dont Alan Turing[8], Geoffrey Hinton[7], Sam Altman[9], Stephen Hawking[10], Bill Gates[11], Elon Musk[12] ou encore IJ Good (qui a conseillé Stanley Kubrick sur le tournage de 2001 : L'Odyssée de l'espace). Les partisans de la thèse du risque existentiel expriment parfois leur perplexité envers les sceptiques : Bill Gates a déclaré qu'il ne « comprend pas pourquoi certaines personnes ne sont pas inquiètes »[116], et Hawking a critiqué l'indifférence généralisée dans son éditorial de 2014[117]:

 

« Donc, face à de possibles futurs aux bénéfices et aux risques incommensurables, les experts sont sûrement en train de faire tout ce qu'ils peuvent pour garantir le meilleur résultat, n'est-ce pas? Faux. Si une civilisation extra-terrestre devait nous envoyer un message disant « On arrive dans quelques décennies », répondrions-nous juste « OK, appelez-nous quand vous serez là, on laissera les lumières allumées »? Probablement pas, mais c'est plus ou moins ce qui arrive avec l'IA. »

— Stephen Hawking

Les inquiétudes suscitées par l'IA ont conduit à des dons et des investissements de grande envergure. En 2016, 1 milliard de dollars ont été investis pour créer OpenAI, visant un développement responsable de l'IA.[118] En janvier 2015, Elon Musk a fait don de 10 millions de dollars au Future of Life Institute pour financer la recherche sur la compréhension de la prise de décision par l'IA. L'objectif annoncé de l'institut est de faire croître la sagesse avec laquelle nous gérons la puissance croissante des technologies. Musk a également financé des entreprises développant l'intelligence artificielle telles que DeepMind et Vicarious pour « garder un œil sur ce qui se passe avec l'intelligence artificielle. Je pense qu'il y a potentiellement des conséquences dangereuses là-bas ».[119],[120] L'Open Philanthropy Project a aussi fait plus de 100 millions de dollars de donations pour atténuer les risques potentiels associés à l'IA avancée.[121]

Scepticisme

La thèse selon laquelle l'IA peut poser un risque existentiel a de nombreux détracteurs. Les sceptiques l'accusent parfois d'être « crypto-religieuse », avec une croyance irrationnelle en la possibilité d'une superintelligence remplaçant une croyance irrationnelle en un Dieu omnipotent. Jaron Lanier a fait valoir en 2014 que le concept selon lequel les machines de l'époque seraient quelque sorte intelligentes était selon lui une illusion, et une prodigieuse escroquerie venant des riches.[122],[26]

Certaines critiques soutiennent que l'intelligence artificielle générale est peu probable à court terme. Le chercheur en IA Rodney Brooks a écrit en 2014 : « Je pense que c'est une erreur de s'inquiéter du fait que nous développions une IA malveillante à tout moment au cours des prochains siècles. Je pense que l'inquiétude provient d'une erreur fondamentale du fait de ne pas distinguer les avancées récentes très réelles dans un aspect particulier de l'IA, et l'énormité et la complexité de la conception d'une intelligence volitionnelle sensible. »[123] Le vice-président de Baidu, Andrew Ng, a déclaré en 2015 que le risque existentiel de l'IA est « comme s'inquiéter de la surpopulation sur Mars alors que nous n'avons même pas encore mis le pied sur la planète ».[124],[125] L'informaticien Gordon Bell a soutenu en 2008 que la race humaine s'autodétruira avant d'atteindre la singularité technologique. Gordon Moore, le promoteur original de la loi de Moore, déclare que « je suis un sceptique. Je ne crois pas [qu'une singularité technologique] ait de tant que ça de chances de se produire, du moins pour longtemps. Et je ne sais pas pourquoi j'ai ce ressenti. »[126]

Selon certains experts, l'idée qu'une IA puisse prendre le contrôle du monde est une possibilité suffisamment éloignée dans le futur pour ne pas valoir la peine d'être étudiée.[127],[128] L'économiste Robin Hanson estime que pour causer une explosion d'intelligence, l'IA devrait fournir bien plus d'innovation logicielle que tout le reste du monde  ; et il n'est pas convaincu que ce soit possible.[129],[130],[131]

Une autre ligne de critique postule que l'intelligence n'est qu'une composante d'une capacité beaucoup plus large à atteindre des objectifs.[132],[133] Magnus Vinding soutient que « les capacités avancées à accomplir des objectifs, notamment celle de nouveaux outils, nécessitent de nombreux outils, et nos capacités cognitives ne sont qu'un sous-ensemble de ces outils. L'électronique avancée, les matériaux et l'énergie doivent tous être acquis pour qu'un objectif avancé soit atteint ».[134] Vinding en outre soutient que « ce que nous observons constamment [dans l'histoire], c'est que, à mesure que les systèmes visant à accomplir des objectifs sont devenus plus compétents, ils sont devenus de plus en plus dépendants d'un système de plus en plus vaste et de plus en plus distribué ».[135] Vinding écrit qu'il n'y a aucune raison de s'attendre à ce que la tendance s'inverse, en particulier pour les machines, qui « dépendent de matériaux, d'outils et de savoir-faire largement distribués à travers le monde pour leur construction et leur maintenance ».[136] De tels arguments amènent Vinding à penser que les capacités sont distribuées plutôt que concentrées, et qu'il n'y a donc pas vraiment de problème de contrôle.[137]

Pour certains, même si la superintelligence devait émerger, elle serait limitée par la vitesse du reste du monde, et serait donc empêchée de prendre le contrôle de l'économie. Le futuriste Max More affirme que:[138]

« À moins que des techniques avancées de robotique ou de nanotechnologie n'aient lieu avant la superintelligence, les changements physiques prendront du temps. [...] Le besoin de collaboration, d'organisation, ou de concrétiser les idées en changements physiques garantiront que les anciennes règles ne soient pas jetées du jour au lendemain ou même en quelques années. Les choses pourraient venir petit à petit, plutôt qu'en fracassant soudainement l'histoire. Même un système informatique très avancé ne ferait pas une différence énorme dans le monde, comparé à des milliards d'humains augmentés, de plus en plus intégrés avec la technologie [...] »

— Max More

La complexité fondamentale de certains système (NP complets ou chaotiques) pourrait aussi limiter la capacité de l'IA à prédire certains aspects de l'avenir, quelle que soit son niveau d'intelligence, augmentant ainsi son incertitude.[139]

Certains chercheurs en IA et en IAG peuvent être réticents à discuter des risques, craignant que les décideurs finissent par être aussi convaincus par des messages « alarmistes » qu'ils ne cautionnent pas, ou craignant que de tels messages n'entraînent des réductions du financement de l'IA. Slate note que certains chercheurs dépendent des subventions d'organismes gouvernementaux tels que la DARPA.[140]

Plusieurs sceptiques affirment que les avantages potentiels à court terme de l'IA l'emportent sur les risques. Le PDG de Facebook, Mark Zuckerberg, estime que l'IA offrira d'énormes bénéfices, tels que la guérison de maladies ou l'augmentation de la sécurité des voitures autonomes.[141]

Opinions intermédiaires

Les opinions intermédiaires considèrent généralement que le problème de contrôle de l'IAG peut réellement exister, mais qu'il sera résolu par les progrès de l'IA, par exemple en apprenant la morale à l'IA, et cherchant activement à détecter des comportements malveillants mais maladroits (des « trébuchements sordides », ou sordid stumble en anglais)[142] puis en intervenant directement dans le code afin que l'IA affine son comportement, ou avec la pression sociale d'intelligences artificielles amicales.[143] Lors d'une table ronde en 2015 dans le Wall Street Journal consacrée aux risques liés à l'IA, le vice-président de l'informatique cognitive d'IBM, Guruduth S. Banavar, a balayé la discussion sur l'IAG en affirmant que c'est de la spéculation.[144] Geoffrey Hinton a noté qu'« il n'y a pas de bons antécédents de choses moins intelligentes contrôlant des choses plus intelligences »[145], mais a déclaré qu'il poursuit ses recherches car « la perspective d'une découverte est trop douce ».[140],[146] Interrogé sur la possibilité qu'une IA tente d'éliminer la race humaine, Hinton a déclaré qu'un tel scénario n'était pas inconcevable, mais que le plus gros problème avec une explosion de l'intelligence serait selon lui la concentration de pouvoir qui en résulterait.[7] En 2004, le professeur de droit Richard Posner a écrit que les efforts consacrés à la gestion de ces risques peuvent attendre, mais que nous devrions entre-temps recueillir plus d'informations sur le problème.[147],[97]

Réactions populaires

Dans un article paru en 2014 dans The Atlantic, James Hamblin a noté que la plupart des gens ne se soucient pas de l'IAG, et a caractérisé sa propre réaction viscérale au sujet comme suit : « Sortez d'ici. J'ai cent mille choses qui m'inquiètent en ce moment précis. Dois-je sérieusement ajouter à cela une singularité technologique ? »[148]

Lors d'une interview du président Barack Obama et de Joi Ito en 2016 par Wired, Ito a déclaré:[149]

 

« il y a quelques personnes qui pensent qu'il y a une probabilité assez élevée que l'IA générale survienne dans les 10 prochaines années. Mais la façon dont je vois les choses c'est que pour que ça arrive, on aura besoin de quelques dizaines de percées technologiques. Donc vous pouvez surveiller si vous pensez que ces percées technologiques vont survenir. »

— Joi Ito

Obama a ajouté:[150]

« Et il faut juste avoir quelqu'un posté près de la prise électrique. [Rires.] Dès que tu le vois venir, faut couper le jus, mec. »

— Barack Obama

 

Hillary Clinton a déclaré dans What Happened:[151]

 

« Les technologues... ont averti que l'intelligence artificielle pourrait un jour constituer une menace existentielle pour la sécurité. Musk l'a appelé « le plus grand risque auquel nous soyons confrontés en tant que civilisation ». Pensez-y : avez-vous déjà vu un film où les machines commencent à penser par elles-mêmes et qui se termine bien ? Chaque fois que je suis allé dans la Silicon Valley pendant la campagne, je suis rentrée plus alarmée à ce sujet. Mon personnel vivait dans la peur que je commence à parler de « l'essor des robots » dans une mairie de l'Iowa. J'aurais peut-être dû. Dans tous les cas, les décideurs politiques doivent suivre la technologie à mesure qu'elle avance, au lieu de toujours rattraper le retard. »

— Hillary Clinton, What Happened

Dans un sondage YouGov réalisé en 2016 auprès du public de la British Science Association, environ un tiers des personnes interrogées ont déclaré que l'IA constituerait une menace pour la survie à long terme de l'humanité.[152] Jacob Brogan de Slate a déclaré que « la plupart des (lecteurs remplissant notre enquête en ligne) n'étaient pas convaincus que l'IA elle-même présente une menace directe ».[153]

En 2018, un sondage SurveyMonkey auprès du public américain par USA Today a révélé que 68% estiment que la véritable menace réside dans « l'intelligence humaine » ; cependant, le sondage a également révélé que 43% considèrent que l'IA superintelligente, si elle devait se produire, entraînerait « plus de mal que de bien », et 38% ont déclaré qu'elle ferait « des quantités égales de mal et de bien ».[154]

Un point de vue techno-utopique exprimé dans certaines fictions populaires est que l'IAG peut tendre vers la consolidation de la paix.[155]

Atténuation

De nombreux chercheurs préoccupés par les risques existentiels de l'IAG pensent que la meilleure approche consiste à mener des recherches approfondies pour résoudre le difficile « problème de contrôle »: quels types de mesures, d'algorithmes ou d'architectures les programmeurs peuvent-ils mettre en œuvre pour maximiser la probabilité que si une IA parvenait à s'améliorer elle-même récursivement, elle continue néanmoins de se comporter de manière bienfaisante?[5],[97] Les mesures sociales peuvent réduire le risque existentiel[156],[97] ; par exemple il y a la recommandation pour un « Traité de l'intelligence artificielle générale bienveillante » parrainé par l'ONU, qui garantirait que seules des intelligences artificielles générales altruistes soient créés.[157] De même, une approche pour contrôler la militarisation de l'IA a été suggérée, tout comme un traité mondial de paix, dont les superintelligences pourraient potentiellement un jour être des signataires.[158]

Des chercheurs de Google ont proposé des recherches sur des problèmes concrets de sûreté de l'IA afin d'atténuer simultanément les risques à court et à long terme de l'IAG.[159],[160] Une estimation de 2020 place les dépenses mondiales pour atténuer les risques existentiels de l'IA à entre 10 et 50 millions de dollars, là où les dépenses mondiales pour l'IA sont d'environ 40 milliards de dollars. Bostrom propose un principe général de « développement technologique différentiel » : les investisseurs devraient accélérer le développement de technologies protectrices, et limiter celui de technologies dangereuses.[161] Certains investisseurs comme Elon Musk suggèrent que l'amélioration cognitive humaine radicale puisse servir à protéger l'humanité. Par exemple les systèmes de liaison neuronale directe entre l'homme et la machine. Mais d'autres soutiennent que ces technologies d'amélioration de l'humain peuvent elles-mêmes poser un risque existentiel.[162],[163] Les chercheurs, s'ils ne sont pas pris au dépourvu, pourraient surveiller de près ou tenter de confiner une IA risquant de devenir trop puissante. Une superintelligence dominante, si elle était alignée sur les intérêts humains, pourrait elle-même prendre des mesures pour réduire le risque de prise de contrôle par une autre IA, bien que la création de l'IA dominante puisse elle-même poser un risque existentiel.[156]

Des institutions telles que le Machine Intelligence Research Institute, le Future of Humanity Institute,[164],[165] le Future of Life Institute, le Center for the Study of Existential Risk et le Center for Human-Compatible AI[166] sont impliquées dans l'atténuation des risques existentiels de l'IA avancée et la recherche de solutions au problème de l'alignement.[6],[122],[29]

Opinions sur la réglementation

En mars 2023, le Future of Life Institute a rédigé une lettre appelant les principaux développeurs d'IA à s'entendre sur une pause vérifiable de six mois de tout système « plus puissant que GPT-4 » et à utiliser ce temps pour instituer des normes de sécurité. Ou, si ça ne pouvait pas être rapidement mis en place, que les gouvernements interviennent avec un moratoire. La lettre faisait référence à la possibilité d'un « changement profond dans l'histoire de la vie sur Terre ».[167] Elle évoquait les risques potentiels de propagande générée par l'IA, de pertes d'emplois massives, d'obsolescence humaine et de perte de contrôle sur la société.[168] La lettre a notamment été signée par Elon Musk, Steve Wozniak, Evan Sharp, Chris Larsen et Gary Marcus ; les digireants de laboratoire d'IA, Connor Leahy et Emad Mostaque ; le politicien Andrew Yang ; et le pionnier de l'apprentissage en profondeur Yoshua Bengio. Marcus a déclaré que « la lettre n'est pas parfaite, mais l'esprit est juste ».[169] Mostaque a déclaré: « Je ne pense pas qu'une pause de six mois soit la meilleure idée et je ne suis pas d'accord avec tout, mais il y a des choses intéressantes dans cette lettre ».[170] En revanche, Bengio a explicitement approuvé la pause de six mois lors d'une conférence de presse.[171] Elon Musk a déclaré que « les principaux développeurs d'IAG ne tiendront pas compte de cet avertissement, mais au moins ça a été dit ».[172] Certains signataires, tels que Marcus, ont signé par souci d'autres risque que celui d'une superintelligence, tels que la propagande générée par l'IA.[173] Margaret Mitchell, dont le travail est cité par la lettre, l'a critiquée en disant : « En traitant beaucoup d'idées douteuses comme établies, la lettre affirme un ensemble de priorités et une narration sur l'IA qui profite aux partisans du FLI. Ignorer les dégâts qui ont activement lieu en ce moment est un privilège que certains d'entre nous n'ont pas. »[174]

Elon Musk a appelé à réglementer l'IA dès 2017. Selon NPR, le PDG de Tesla n'était pourtant clairement pas ravi de plaider en faveur d'un examen gouvernemental qui pourrait impacter son propre secteur d'activité. Mais il estime que les risques d'une absence de surveillance sont trop élevés : « Normalement, les réglementations sont faites de sorte que quand de mauvaises choses se produisent, il y a un tollé public et, après de nombreuses années, une agence de réglementation est créée pour régulter cette industrie [...] Ça prend une éternité. Ça s'est jusqu'ici mal passé, mais pas au point de représenter un risque fondamental pour l'existence de la civilisation. »[175] Elon Musk déclare que la première étape serait que le gouvernement s'intéresse à l'état actuel de la recherche, avertissant qu'« une fois qu'il y aura prise de conscience, les gens seront effrayés, [...] Comme ils devraient l'être. »[176] En réponse, les politiciens ont exprimé leur scepticisme quant à la sagesse du fait de réglementer une technologie encore en développement.[177],[178],[179]

Répondant à la fois à Elon Musk et aux propositions de février 2017 des législateurs de l'Union européenne pour réglementer l'IA et la robotique, le PDG d'Intel ; Brian Krzanich, a fait valoir que l'intelligence artificielle en était à ses balbutiements et qu'il était encore trop tôt pour réglementer cette technologie.[180] Au lieu d'essayer de réglementer la technologie elle-même, certains chercheurs suggèrent des normes communes incluant des exigences pour les tests et la transparence des algorithmes, éventuellement en combinaison avec une certaine forme de garantie.[181]

Le développement réglementé de systèmes d'armes est considéré acceptable par les armées de certains pays.[182] Le 31 octobre 2019, le Defense Innovation Board du département américain de la Défense (DoD) a publié l'ébauche d'un rapport décrivant cinq principes pour l'IA militarisée et faisant 12 recommandations pour l'utilisation éthique de l'intelligence artificielle par le DoD, qui cherche à renforcer le contrôle des IA militaires du DoD.[183]

La réglementation de l'IAG sera probablement influencée par la réglementation de l'IA militaire. Bien que les Nations Unies aient progressé vers la réglementation de l'IA, sa capacité institutionnelle et juridique à gérer le risque existentiel de l'IAG est beaucoup plus limitée.[184] Toute forme de réglementation internationale sera probablement influencée par l'évolution de la politique intérieure des principaux pays à l'égard de l'IA militaire,[185],[50] et par les mesures internationales visant à réglementer une course à l'IA militaire. La réglementation de la recherche sur l'IAG se concentre sur le rôle des commissions d'examen, la mise en avant de la recherche sur la sûreté de l'IA, la possibilité d'un progrès technologique différentiel (le fait de prioriser les recherches réduisant les risques à celles qui les augmentent), ou la possibilité d'une surveillance internationale de masse pour vérifier l'application des réglementations.[97] La réglementation des IAG conscientes se concentre sur leur intégration à la société humaine existante, et peut être divisée en considérations sur leur statut juridique et leurs droits moraux.[97] Limiter la militarisation de l'IA devrait nécessiter de nouvelles normes internationales avec des spécifications techniques efficaces. Mais aussi une surveillance active, une diplomatie informelle par des communautés d'experts, et un processus juridique et politique de vérification.[186],[187]

Voir également

Notes

  1. ↑ En plus de la capacité générale de raisonnement, les domaines d'intérêt du point de vue des risques existentiels pourraient inclure le fait de conduire de la R&D, d'élaborer des stratégies, de manipuler, ou de hacker des systèmes informatiques.[18]
  2. ↑ D'autres définitions de l'alignement peuvent faire intervenir des principes éthiques, des valeurs humaines, ou les intentions que les concepteurs auraient s'ils étaient plus rationnels et informés[53].

Références

  1. ↑ Pitpitt, « Risque existentiel — DataFranca », sur datafranca.org (consulté le )
  2. ↑ a b c d e f g h et i (en) Stuart Russell et Peter Norvig, Artificial Intelligence: A Modern Approach, Prentice Hall, (ISBN 978-0-13-604259-4), « 26.3: The Ethics and Risks of Developing Artificial Intelligence »
  3. ↑ Bostrom, « Existential risks », Journal of Evolution and Technology, vol. 9, no 1,‎ , p. 1–31
  4. ↑ a et b Turchin et Denkenberger, « Classification of global catastrophic risks connected with artificial intelligence », AI & Society, vol. 35, no 1,‎ , p. 147–163 (ISSN 0951-5666, DOI 10.1007/s00146-018-0845-5, S2CID 19208453, lire en ligne)
  5. ↑ a b c d e f g h i j k et l Nick Bostrom, Superintelligence: Paths, Dangers, Strategies, First, (ISBN 978-0199678112)
  6. ↑ a b et c (en-US) « Potential Risks from Advanced Artificial Intelligence - Open Philanthropy », sur Open Philanthropy -, (consulté le )
  7. ↑ a b et c (en-US) « "Godfather of artificial intelligence" weighs in on the past and potential of AI », sur www.cbsnews.com (consulté le )
  8. ↑ a et b (en) « AMT-B-4 | The Turing Digital Archive », sur turingarchive.kings.cam.ac.uk (consulté le )
  9. ↑ a et b (en-US) Sarah Jackson, « The CEO of the company behind AI chatbot ChatGPT says the worst-case scenario for artificial intelligence is 'lights out for all of us' », sur Business Insider (consulté le )
  10. ↑ a b c d et e (en-GB) « Stephen Hawking warns artificial intelligence could end mankind », BBC News,‎ (lire en ligne, consulté le )
  11. ↑ a et b (en) Peter Holley, « Bill Gates on dangers of artificial intelligence: ‘I don’t understand why some people are not concerned’ », The Washington Post,‎ (lire en ligne)
  12. ↑ a et b (en-GB) Simon Parkin, « Science fiction no more? Channel 4’s Humans and our rogue AI obsessions », The Guardian,‎ (ISSN 0261-3077, lire en ligne, consulté le )
  13. ↑ a et b (en-US) « 2022 Expert Survey on Progress in AI », sur AI Impacts, (consulté le )
  14. ↑ (en) « The AI Dilemma », sur www.humanetech.com (consulté le )
  15. ↑ a b c d e et f Yudkowsky, « Artificial Intelligence as a Positive and Negative Factor in Global Risk », Global Catastrophic Risks,‎ , p. 308–345 (Bibcode 2008gcr..book..303Y, lire en ligne [archive du ], consulté le )
  16. ↑ a et b « Research Priorities for Robust and Beneficial Artificial Intelligence », AI Magazine, Association for the Advancement of Artificial Intelligence,‎ , p. 105–114 (Bibcode 2016arXiv160203506R, arXiv 1602.03506, lire en ligne [archive du ], consulté le ), cited in « AI Open Letter - Future of Life Institute » [archive du ], Future of Life Institute, Future of Life Institute, (consulté le )
  17. ↑ a b et c (en-US) Condé Nast, « Elon Musk’s Billion-Dollar Crusade to Stop the A.I. Apocalypse », sur Vanity Fair, (consulté le )
  18. ↑ « Superintelligence: Paths, Dangers, Strategies (publisher synopsis) »
  19. ↑ a b c et d (en) Skeptic, « Why We Should Be Concerned About Artificial Superintelligence », sur Skeptic, (consulté le )
  20. ↑ Hans-Peter Breuer, « Samuel Butler's "The Book of the Machines" and the Argument from Design », Modern Philology, vol. 72, no 4,‎ , p. 365–383 (ISSN 0026-8232, lire en ligne, consulté le )
  21. ↑ (en) « Alan Turing », sur No Right to Believe (consulté le ) : « Let us now assume, for the sake of argument, that [intelligent] machines are a genuine possibility, and look at the consequences of constructing them. [...] There would be no question of the machines dying, and they would be able to converse with each other to sharpen their wits. At some stage therefore we should have to expect the machines to take control… »
  22. ↑ (en) « The AI apocalypse: will the human race soon be terminated? », sur The Irish Times (consulté le )
  23. ↑ (en) « True AI is both logically possible and utterly implausible | Aeon Essays », sur Aeon (consulté le ) : « Let an ultraintelligent machine be defined as a machine that can far surpass all the intellectual activities of any man however clever. Since the design of machines is one of these intellectual activities, an ultraintelligent machine could design even better machines; there would then unquestionably be an ‘intelligence explosion’, and the intelligence of man would be left far behind. Thus the first ultra-intelligent machine is the last invention that man need ever make, provided that the machine is docile enough to tell us how to keep it under control. It is curious that this point is made so seldom outside of science fiction. It is sometimes worthwhile to take science fiction seriously. »
  24. ↑ Stuart J. Russell et Peter Norvig, Artificial Intelligence: A Modern Approach, Upper Saddle River, N.J., Prentice Hall, (ISBN 978-0137903955), « Section 26.3: The Ethics and Risks of Developing Artificial Intelligence » :

    « Similarly, Marvin Minsky once suggested that an AI program designed to solve the Riemann Hypothesis might end up taking over all the resources of Earth to build more powerful supercomputers to help achieve its goal. »
  25. ↑ James Barrat, Our final invention : artificial intelligence and the end of the human era, New York, First, (ISBN 9780312622374) :

    « In the bio, playfully written in the third person, Good summarized his life's milestones, including a probably never before seen account of his work at Bletchley Park with Turing. But here's what he wrote in 1998 about the first superintelligence, and his late-in-the-game U-turn: [The paper] 'Speculations Concerning the First Ultra-intelligent Machine' (1965) . . . began: 'The survival of man depends on the early construction of an ultra-intelligent machine.' Those were his [Good's] words during the Cold War, and he now suspects that 'survival' should be replaced by 'extinction.' He thinks that, because of international competition, we cannot prevent the machines from taking over. He thinks we are lemmings. He said also that 'probably Man will construct the deus ex machina in his own image.' »
  26. ↑ a et b (en-US) Condé Nast, « Enthusiasts and Skeptics Debate Artificial Intelligence », sur Vanity Fair, (consulté le )
  27. ↑ (en-US) Cade Metz, « Mark Zuckerberg, Elon Musk and the Feud Over Killer Robots », The New York Times,‎ (ISSN 0362-4331, lire en ligne, consulté le )
  28. ↑ (en) « Control dangerous AI before it controls us, one expert says », sur NBC News (consulté le )
  29. ↑ a et b (en) « Stephen Hawking: 'Are we taking Artificial Intelligence seriously », sur The Independent, (consulté le )
  30. ↑ (en-US) Lisa Eadicicco, « Bill Gates: Elon Musk Is Right, We Should All Be Scared Of Artificial Intelligence Wiping Out Humanity », sur Business Insider (consulté le )
  31. ↑ (en) « Anticipating artificial intelligence » (Citation traduite depuis l'anglais), Nature, vol. 532, no 7600,‎ , p. 413–413 (ISSN 1476-4687, DOI 10.1038/532413a, lire en ligne, consulté le ) :

    « Machines and robots that outperform humans across the board could self-improve beyond our control—and their interests might not align with ours. »
  32. ↑ Brian Christian, The Alignment Problem: Machine Learning and Human Values, W. W. Norton & Company, (ISBN 978-0393635829, lire en ligne [archive du ])
  33. ↑ (en) Dignum, « AI — the people and places that make, use and manage it », Nature, vol. 593, no 7860,‎ , p. 499–500 (DOI 10.1038/d41586-021-01397-x, lire en ligne)
  34. ↑ (en) Stuart Rusell et Peter Norvig (Citation traduite depuis l'anglais), Artificial intelligence : a modern approach, (ISBN 0-13-604259-7 et 978-0-13-604259-4, OCLC 359890490, lire en ligne) :

    « Almost any technology has the potential to cause harm in the wrong hands, but with [superintelligence], we have the new problem that the wrong hands might belong to the technology itself. »
  35. ↑ « Houston, we have a bug: 9 famous software glitches in space | ITworld », sur web.archive.org, (consulté le )
  36. ↑ Yampolskiy, « Utility function security in artificially intelligent agents », Journal of Experimental & Theoretical Artificial Intelligence, vol. 26, no 3,‎ , p. 373–389 (DOI 10.1080/0952813X.2014.895114, S2CID 16477341) :

    « Nothing precludes sufficiently smart self-improving systems from optimising their reward mechanisms in order to optimisetheir current-goal achievement and in the process making a mistake leading to corruption of their reward functions. »
  37. ↑ a b c d e et f « Clever cogs », The Economist,‎ (ISSN 0013-0613, lire en ligne, consulté le )
  38. ↑ a et b Omohundro, S. M. (2008, February). The basic AI drives. In AGI (Vol. 171, pp. 483-492).
  39. ↑ (en-US) Cade Metz, « Teaching A.I. Systems to Behave Themselves », The New York Times,‎ (ISSN 0362-4331, lire en ligne, consulté le )
  40. ↑ Jan Leike, Miljan Martic, Victoria Krakovna et Pedro A. Ortega, « AI Safety Gridworlds », arXiv:1711.09883 [cs],‎ (lire en ligne, consulté le )
  41. ↑ (en) « Treacherous Turn - LessWrong », sur www.lesswrong.com (consulté le )
  42. ↑ (en) Russell, « Artificial intelligence: The future is superintelligent », Nature, vol. 548, no 7669,‎ , p. 520–521 (DOI 10.1038/548520a, Bibcode 2017Natur.548..520R, S2CID 4459076)
  43. ↑ a b et c Max Tegmark, Life 3.0: Being Human in the Age of Artificial Intelligence, Mainstreaming AI Safety, 1st, (ISBN 9780451485076)
  44. ↑ Elliott (Citation traduite depuis l'anglais), « Physics of the Future: How Science Will Shape Human Destiny and Our Daily Lives by the Year 2100, by Michio Kaku », Issues in Science and Technology, vol. 27, no 4,‎ , p. 90 :

    « capable of love and earning a place in the extended human family »
  45. ↑ Michio Kaku, Physics of the future: how science will shape human destiny and our daily lives by the year 2100, New York, Doubleday, (ISBN 978-0-385-53080-4) :

    « I personally believe that the most likely path is that we will build robots to be benevolent and friendly »
  46. ↑ « Should humans fear the rise of the machine? », sur www.telegraph.co.uk (consulté le )
  47. ↑ Michael Shermer (Citation traduite depuis l'anglais), « Apocalypse AI », Scientific American, vol. 316, no 3,‎ , p. 77 (ISSN 0036-8733, PMID 28207698, DOI 10.1038/scientificamerican0317-77, lire en ligne, consulté le ) :

    « AI dystopias project a parochial alpha-male psychology onto the concept of intelligence. They assume that superhumanly intelligent robots would develop goals like deposing their masters or taking over the world »
  48. ↑ Michael Shermer (Citation traduite depuis l'anglais), « Apocalypse AI », Scientific American, vol. 316, no 3,‎ , p. 77 (ISSN 0036-8733, PMID 28207698, DOI 10.1038/scientificamerican0317-77, lire en ligne, consulté le ) :

    « artificial intelligence will naturally develop along female lines: fully capable of solving problems, but with no desire to annihilate innocents or dominate the civilization. »
  49. ↑ (en-GB) « Intelligent Machines: What does Facebook want with AI? » (Citation traduite depuis l'anglais), BBC News,‎ (lire en ligne, consulté le ) :

    « Humans have all kinds of drives that make them do bad things to each other, like the self-preservation instinct... Those drives are programmed into our brain but there is absolutely no reason to build robots that have the same kind of drives »
  50. ↑ a et b Baum, « Countering Superintelligence Misinformation », Information, vol. 9, no 10,‎ , p. 244 (ISSN 2078-2489, DOI 10.3390/info9100244)
  51. ↑ « The Myth Of AI » [archive du ], www.edge.org (consulté le )
  52. ↑ Joseph Carlsmith, « Is Power-Seeking AI an Existential Risk? », arXiv:2206.13353 [cs],‎ (lire en ligne, consulté le )
  53. ↑ (en) Iason Gabriel, « Artificial Intelligence, Values, and Alignment », Minds and Machines, vol. 30, no 3,‎ , p. 411–437 (ISSN 1572-8641, DOI 10.1007/s11023-020-09539-2, S2CID 210920551, lire en ligne, consulté le ).
  54. ↑ (en) Paul Christiano, « Clarifying “AI alignment” », sur Medium, (consulté le ).
  55. ↑ a et b (en) Stuart J. Russell, Human compatible: Artificial intelligence and the problem of control, Penguin Random House, (ISBN 9780525558637, OCLC 1113410915, lire en ligne).
  56. ↑ a b c d et e (en) Dan Hendrycks, Nicholas Carlini, John Schulman et Jacob Steinhardt, « Unsolved Problems in ML Safety », arXiv:2109.13916 [cs],‎ (lire en ligne, consulté le )
  57. ↑ (en) Alexander Pan, Kush Bhatia et Jacob Steinhardt « The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models » () (lire en ligne, consulté le )
    —International Conference on Learning Representations    .
  58. ↑ a et b (en) Stuart J. Russell et Peter Norvig, Artificial intelligence: A modern approach, 4e édition, (ISBN 978-1-292-40113-3, OCLC 1303900751, lire en ligne), p. 31–34.
  59. ↑ (en) Joseph Carlsmith, « Is Power-Seeking AI an Existential Risk? », arXiv:2206.13353 [cs],‎ (lire en ligne, consulté le ).
  60. ↑ (en) Lauro Langosco Di Langosco, Jack Koch, Lee D Sharkey, Jacob Pfau et David Krueger « Goal misgeneralization in deep reinforcement learning » ()
    — « (ibid.) », dans International Conference on Machine Learning, vol. 162, PMLR, p. 12004–12019    .
  61. ↑ (en) Kober, Bagnell et Peters, « Reinforcement learning in robotics: A survey », The International Journal of Robotics Research, vol. 32, no 11,‎ , p. 1238–1274 (ISSN 0278-3649, DOI 10.1177/0278364913495721, S2CID 1932843, lire en ligne).
  62. ↑ (en) Rishi Bommasani, Drew A. Hudson, Ehsan Adeli et Russ Altman, « On the Opportunities and Risks of Foundation Models », arXiv:2108.07258 [cs],‎ (lire en ligne, consulté le ).
  63. ↑ (en) Long Ouyang, Jeff Wu, Xu Jiang et Diogo Almeida, « Training language models to follow instructions with human feedback », arXiv:2203.02155 [cs],‎ (lire en ligne, consulté le ).
  64. ↑ (en) W. Bradley Knox, Alessandro Allievi, Holger Banzhaf et Felix Schmitt, « Reward (Mis)design for Autonomous Driving », arXiv:2104.13906 [cs],‎ (lire en ligne, consulté le )
  65. ↑ (en) Stray, « Aligning AI Optimization to Community Well-Being », International Journal of Community Well-Being, vol. 3, no 4,‎ , p. 443–463 (ISSN 2524-5295, PMID 34723107, PMCID 7610010, DOI 10.1007/s42413-020-00086-3, S2CID 226254676)
  66. ↑ (en) Nick Bostrom, Superintelligence: Paths, Dangers, Strategies, USA, 1st, (ISBN 978-0-19-967811-2).
  67. ↑ (en-US) « AI Principles », sur Future of Life Institute (consulté le ).
  68. ↑ (en) « Commo nAgenda Report Evolution » [PDF], sur ONU.
  69. ↑ (en) Russell, Dewey et Tegmark, « Research Priorities for Robust and Beneficial Artificial Intelligence », AI Magazine, vol. 36, no 4,‎ , p. 105–114 (ISSN 2371-9621, DOI 10.1609/aimag.v36i4.2577, S2CID 8174496, lire en ligne)
  70. ↑ (en) Wirth, Akrour, Neumann et Fürnkranz, « A survey of preference-based reinforcement learning methods », Journal of Machine Learning Research, vol. 18, no 136,‎ , p. 1–46.
  71. ↑ (en) Paul F. Christiano, Jan Leike, Tom B. Brown, Miljan Martic, Shane Legg et Dario Amodei « Deep reinforcement learning from human preferences » ()
    — « (ibid.) », dans Proceedings of the 31st International Conference on Neural Information Processing Systems, Red Hook, NY, USA, Curran Associates Inc. (ISBN 978-1-5108-6096-4), p. 4302–4310    .
  72. ↑ Sina Mohseni, Haotao Wang, Zhiding Yu et Chaowei Xiao, « Taxonomy of Machine Learning Safety: A Survey and Primer », arXiv:2106.04823 [cs],‎ (lire en ligne, consulté le ).
  73. ↑ (en) Clifton, « Cooperation, Conflict, and Transformative Artificial Intelligence: A Research Agenda », Center on Long-Term Risk, (consulté le ).
  74. ↑ (en) Dafoe, Bachrach, Hadfield et Horvitz, « Cooperative AI: machines must learn to find common ground », Nature, vol. 593, no 7857,‎ , p. 33–36 (ISSN 0028-0836, PMID 33947992, DOI 10.1038/d41586-021-01170-0, Bibcode 2021Natur.593...33D, S2CID 233740521, lire en ligne).
  75. ↑ (en) Irving et Askell, « AI Safety Needs Social Scientists », Distill, vol. 4, no 2,‎ , p. 10.23915/distill.00014 (ISSN 2476-0757, DOI 10.23915/distill.00014, S2CID 159180422, lire en ligne)
  76. ↑ (en) Eliezer Yudkowsky, « Coherent decisions imply consistent utilities », LessWrong,‎ (lire en ligne, consulté le )
  77. ↑ Yudkowsky, E. (2011, August). Complex value systems in friendly AI. In International Conference on Artificial General Intelligence (pp. 388-393). Springer, Berlin, Heidelberg.
  78. ↑ a et b (en) « The Myth Of AI | Edge.org », sur www.edge.org (consulté le ) : « The primary concern is not spooky emergent consciousness but simply the ability to make high-quality decisions. Here, quality refers to the expected outcome utility of actions taken, where the utility function is, presumably, specified by the human designer. Now we have a problem: 1. The utility function may not be perfectly aligned with the values of the human race, which are (at best) very difficult to pin down. 2. Any sufficiently capable intelligent system will prefer to ensure its own continued existence and to acquire physical and computational resources – not for their own sake, but to succeed in its assigned task. A system that is optimizing a function of n variables, where the objective depends on a subset of size k<n, will often set the remaining unconstrained variables to extreme values; if one of those unconstrained variables is actually something we care about, the solution found may be highly undesirable. This is essentially the old story of the genie in the lamp, or the sorcerer's apprentice, or King Midas: you get exactly what you ask for, not what you want. A highly capable decision maker – especially one connected through the Internet to all the world's information and billions of screens and most of our infrastructure – can have an irreversible impact on humanity. This is not a minor difficulty. Improving decision quality, irrespective of the utility function chosen, has been the goal of AI research – the mainstream goal on which we now spend billions per year, not the secret plot of some lone evil genius. »
  79. ↑ Dietterich et Horvitz, « Rise of Concerns about AI: Reflections and Directions », Communications of the ACM, vol. 58, no 10,‎ , p. 38–40 (DOI 10.1145/2770869, S2CID 20395145, lire en ligne [archive du ], consulté le )
  80. ↑ (en) « AI-Control Problem », sur encyclopedia.pub (consulté le ) : « An important aspect of any AI system that interacts with people is that it must reason about what people intend rather than carrying out commands literally. »
  81. ↑ Yampolskiy, « Utility function security in artificially intelligent agents », Journal of Experimental & Theoretical Artificial Intelligence, vol. 26, no 3,‎ , p. 373–389 (DOI 10.1080/0952813X.2014.895114, S2CID 16477341)
  82. ↑ Lenat, « Eurisko: A Program That Learns New Heuristics and Domain Concepts The Nature of Heuristics III: Program Design and Results », Artificial Intelligence, vol. 21, nos 1–2,‎ , p. 61–98 (DOI 10.1016/s0004-3702(83)80005-8)
  83. ↑ Haidt, Jonathan; Kesebir, Selin (2010) "Chapter 22: Morality" In Handbook of Social Psychology, Fifth Edition, Hoboken NJ, Wiley, 2010, pp. 797-832.
  84. ↑ Waser, « Designing, Implementing and Enforcing a Coherent System of Laws, Ethics and Morals for Intelligent Machines (Including Humans) », Procedia Computer Science, vol. 71,‎ , p. 106–111 (DOI 10.1016/j.procs.2015.12.213)
  85. ↑ Bostrom, « What happens when our computers get smarter than we are? » [archive du ], TED (conference), (consulté le )
  86. ↑ Yudkowsky, « Complex Value Systems are Required to Realize Valuable Futures » [archive du ], (consulté le )
  87. ↑ (en) « Instrumental Convergence - LessWrong », sur www.lesswrong.com (consulté le )
  88. ↑ (en-US) Luke Muehlhauser, « Russell and Norvig on Friendly AI », sur Machine Intelligence Research Institute, (consulté le ) : « even if you only want your program to play chess or prove theorems, if you give it the capability to learn and alter itself, you need safeguards. »
  89. ↑ (en-US) Condé Nast, « Elon Musk’s Billion-Dollar Crusade to Stop the A.I. Apocalypse », sur Vanity Fair, (consulté le ) : « will have self-preservation even if you don't program it in... if you say, 'Fetch the coffee', it can't fetch the coffee if it's dead. So if you give it any goal whatsoever, it has a reason to preserve its own existence to achieve that goal. »
  90. ↑ (en) Jane Wakefield, « Why is Facebook investing in AI? », BBC News,‎ (lire en ligne)
  91. ↑ « Will artificial intelligence destroy humanity? Here are 5 reasons not to worry. » [archive du ], Vox, (consulté le )
  92. ↑ Nick Bostrom, Superintelligence: Paths, Dangers, Strategies, Oxford, United Kingdom, Oxford University Press, , 116 p. (ISBN 978-0-19-967811-2)
  93. ↑ Bostrom, « Superintelligent Will » [archive du ], Nick Bostrom, Nick Bostrom, (consulté le )
  94. ↑ (en) Stuart Armstrong, « General purpose intelligence: arguing the Orthogonality thesis », LessWrong,‎ (lire en ligne, consulté le )
  95. ↑ (en) « Clever cogs » (Citation traduite depuis l'anglais), The Economist,‎ (ISSN 0013-0613, lire en ligne, consulté le ) :

    « an A.I. will need to desire certain states and dislike others. Today's software lacks that ability—and computer scientists have not a clue how to get it there. Without wanting, there's no impetus to do anything. Today's computers can't even want to keep existing, let alone tile the world in solar panels. »
  96. ↑ a et b Rubin, « Artificial Intelligence and Human Nature », The New Atlantis, vol. 1,‎ , p. 88–100 (lire en ligne [archive du ])
  97. ↑ a b c d e et f Sotala et Yampolskiy, « Responses to catastrophic AGI risk: a survey », Physica Scripta, vol. 90, no 1,‎ , p. 12 (ISSN 0031-8949, DOI 10.1088/0031-8949/90/1/018001, Bibcode 2015PhyS...90a8001S)
  98. ↑ Pistono, Federico Yampolskiy, Roman V., Unethical Research: How to Create a Malevolent Artificial Intelligence, (OCLC 1106238048)
  99. ↑ Haney, « The Perils & Promises of Artificial General Intelligence », SSRN Working Paper Series,‎ (ISSN 1556-5068, DOI 10.2139/ssrn.3261254, S2CID 86743553)
  100. ↑ Toby Ord, The Precipice: Existential Risk and the Future of Humanity, Bloomsbury Publishing, , Chapter 5: Future Risks, Unaligned Artificial Intelligence (ISBN 978-1526600219)
  101. ↑ (en) « Is Elon Musk Right About AI? Researchers Don't Think So » (Citation traduite depuis l'anglais), Bloomberg.com,‎ (lire en ligne, consulté le ) :

    « [Elon Musk] has impugned us in very strong language saying we are unleashing the demon, and so we're answering. »
  102. ↑ (en) Radu (Citations traduites depuis l'anglais), « Artificial Intelligence Alarmists Win ITIF's Annual Luddite Award », ITIF Website,‎ (lire en ligne [archive du ], consulté le ) :

    « alarmists touting an artificial intelligence apocalypse »
  103. ↑ (en) « Stephen Hawking is a winner of the 'Luddite of the Year' », sur The Independent, (consulté le )
  104. ↑ Garner, « Elon Musk, Stephen Hawking win Luddite award as AI 'alarmists' » [archive du ], CNET, (consulté le ) : « That's not a very winning message if you want to get AI funding »
  105. ↑ (en) « Anticipating artificial intelligence » (Citation traduite depuis l'anglais), Nature, vol. 532, no 7600,‎ , p. 413 (PMID 27121801, DOI 10.1038/532413a, Bibcode 2016Natur.532Q.413.) :

    « It is crucial that progress in technology is matched by solid, well-funded research to anticipate the scenarios it could bring about... If that is a Luddite perspective, then so be it. »
  106. ↑ (en) Hans-Peter Breuer (Citation traduite depuis l'anglais), « Samuel Butler's "The Book of the Machines" and the Argument from Design », Modern Philology, vol. 72, no 4,‎ , p. 365–383 (ISSN 0026-8232, lire en ligne, consulté le ) :

    « the time to start thinking through the consequences is now. »
  107. ↑ (en-US) « AI Principles », sur Future of Life Institute, (consulté le ) : « There being no consensus, we should avoid strong assumptions regarding upper limits on future AI capabilities »
  108. ↑ « AI Principles » [archive du ], Future of Life Institute, (consulté le ) : « Advanced AI could represent a profound change in the history of life on Earth, and should be planned for and managed with commensurate care and resources. »
  109. ↑ (en) Anthony Cuthbertson, « Elon Musk and Stephen Hawking Warn of AI Arms Race », sur Newsweek, (consulté le )
  110. ↑ (en) Nick Bostrom (Citation traduite depuis l'anglais), Superintelligence : paths, dangers, strategies, (ISBN 978-0-19-166682-7, 0-19-166682-3 et 978-1-306-96473-9, OCLC 889267826, lire en ligne) :

    « It can't be much fun to have aspersions cast on one's academic discipline, one's professional community, one's life work ... I call on all sides to practice patience and restraint, and to engage in direct dialogue and collaboration as much as possible. »
  111. ↑ Martin Ford (Citation traduite depuis l'anglais), Rise of the Robots: Technology and the Threat of a Jobless Future, (ISBN 9780465059997), « Chapter 9: Super-intelligence and the Singularity » :

    « I think it seems wise to apply something like Dick Cheney's famous '1 Percent Doctrine' to the specter of advanced artificial intelligence: the odds of its occurrence, at least in the foreseeable future, may be very low—but the implications are so dramatic that it should be taken seriously »
  112. ↑ (en) « Clever cogs » (citation traduite depuis l'anglais), The Economist,‎ (ISSN 0013-0613, lire en ligne, consulté le ) :

    « the implications of introducing a second intelligent species onto Earth are far-reaching enough to deserve hard thinking, even if the prospect seems remote »
  113. ↑ Müller et Bostrom, « Future Progress in Artificial Intelligence: A Poll Among Experts », AI Matters, vol. 1, no 1,‎ , p. 9–11 (DOI 10.1145/2639475.2639478, S2CID 8510016, lire en ligne [archive du ])
  114. ↑ Katja Grace, John Salvatier, Allan Dafoe et Baobao Zhang, « When Will AI Exceed Human Performance? Evidence from AI Experts », arXiv:1705.08807 [cs],‎ (lire en ligne, consulté le )
  115. ↑ (en) « Why Uncontrollable AI Looks More Likely Than Ever », sur Time, (consulté le )
  116. ↑ (en-GB) « Microsoft's Bill Gates insists AI is a threat » (citation traduite depuis l'anglais), BBC News,‎ (lire en ligne, consulté le ) :

    « https://www.bbc.co.uk/news/31047780 »
  117. ↑ (en) « Transcending Complacency On Superintelligent Machines », sur HuffPost, (consulté le ) : « So, facing possible futures of incalculable benefits and risks, the experts are surely doing everything possible to ensure the best outcome, right? Wrong. If a superior alien civilization sent us a text message saying, "We'll arrive in a few decades," would we just reply, "OK, call us when you get here -- we'll leave the lights on"? Probably not -- but this is more or less what is happening with AI. »
  118. ↑ Post, « Tech titans like Elon Musk are spending $1 billion to save you from terminators » [archive du ], Chicago Tribune
  119. ↑ (en-GB) Alex Hern (citation traduite depuis l'anglais), « Elon Musk says he invested in DeepMind over 'Terminator' fears », The Guardian,‎ (ISSN 0261-3077, lire en ligne, consulté le ) :

    « just keep an eye on what's going on with artificial intelligence. I think there is potentially a dangerous outcome there. »
  120. ↑ « Elon Musk Is Donating $10M Of His Own Money To Artificial Intelligence Research » [archive du ], Fast Company, (consulté le )
  121. ↑ (en-US) « Grants - Open Philanthropy - Page 2 », sur Open Philanthropy -, (consulté le )
  122. ↑ a et b (en) James Hamblin, « But What Would the End of Humanity Mean for Me? », sur The Atlantic, (consulté le )
  123. ↑ Brooks, « artificial intelligence is a tool, not a threat » [archive du ],  : « I think it is a mistake to be worrying about us developing malevolent AI anytime in the next few hundred years. I think the worry stems from a fundamental error in not distinguishing the difference between the very real recent advances in a particular aspect of AI and the enormity and complexity of building sentient volitional intelligence. »
  124. ↑ (en) Shermer (citation traduite depuis l'anglais), « Apocalypse AI », Scientific American, vol. 316, no 3,‎ , p. 77 (PMID 28207698, DOI 10.1038/scientificamerican0317-77, Bibcode 2017SciAm.316c..77S, lire en ligne [archive du ], consulté le ) :

    « like worrying about overpopulation on Mars when we have not even set foot on the planet yet. »
  125. ↑ (en-US) Caleb Garling, « Andrew Ng: Why ‘Deep Learning’ Is a Mandate for Humans, Not Just Machines », Wired,‎ (ISSN 1059-1028, lire en ligne, consulté le )
  126. ↑ (en) « Tech Luminaries Address Singularity - IEEE Spectrum », sur spectrum.ieee.org (consulté le ) : « I am a skeptic. I don't believe [a technological singularity] is likely to happen, at least for a long time. And I don't know why I feel that way. »
  127. ↑ « Is artificial intelligence really an existential threat to humanity? », MambaPost,
  128. ↑ « The case against killer robots, from a guy actually working on artificial intelligence » [archive du ], Fusion.net (consulté le )
  129. ↑ « Overcoming Bias : I Still Don't Get Foom » [archive du ], www.overcomingbias.com (consulté le )
  130. ↑ « Overcoming Bias : Debating Yudkowsky » [archive du ], www.overcomingbias.com (consulté le )
  131. ↑ « Overcoming Bias : Foom Justifies AI Risk Efforts Now » [archive du ], www.overcomingbias.com (consulté le )
  132. ↑ « The Myth of a Superhuman AI | WIRED », sur web.archive.org, (consulté le )
  133. ↑ Theodore, « Why the Singularity Cannot Happen » [archive du ], Growth Dynamics (consulté le ), p. 18–19
  134. ↑ (en) Magnus Vinding (citation traduite depuis l'anglais), Reflections on Intelligence, Revised edition, 2020, , « Cognitive Abilities as a Counterexample? » :

    « advanced goal-achieving abilities, including abilities to build new tools, require many tools, and our cognitive abilities are just a subset of these tools. Advanced hardware, materials, and energy must all be acquired if any advanced goal is to be achieved. »
  135. ↑ (en) Magnus Vinding (citation traduite depuis l'anglais), Reflections on Intelligence :

    « what we consistently observe [in history] is that, as goal-achieving systems have grown more competent, they have grown ever more dependent on an ever larger, ever more distributed system. »
  136. ↑ Magnus Vinding, Reflections on Intelligence, Revised edition, 2020, , « The “Intelligence Explosion” » :

    « depend on materials, tools, and know-how distributed widely across the globe for their construction and maintenance »
  137. ↑ Magnus Vinding, Reflections on Intelligence, Revised edition, 2020, , « No Singular Thing, No Grand Control Problem »
  138. ↑ (en) « Comments on Vinge's Singularity », sur mason.gmu.edu (consulté le ) : « Unless full-blown nanotechnology and robotics appear before the superintelligence, [...] The need for collaboration, for organization, and for putting ideas into physical changes will ensure that all the old rules are not thrown out overnight or even within years. Superintelligence may be difficult to achieve. It may come in small steps, rather than in one history-shattering burst. Even a greatly advanced SI won't make a dramatic difference in the world when compared with billions of augmented humans increasingly integrated with technology [...] »
  139. ↑ (en-US) « Superintelligence Is Not Omniscience », sur AI Impacts, (consulté le )
  140. ↑ a et b (en-US) Cecilia Tilli, « Killer Robots? Lost Jobs? », Slate,‎ (lire en ligne)
  141. ↑ « Mark Zuckerberg responds to Elon Musk's paranoia about AI: 'AI is going to... help keep our communities safe.' » [archive du ], Business Insider, (consulté le )
  142. ↑ Ashley M. Votruba et Virginia S.Y. Kwan « Interpreting expert disagreement: The influence of decisional cohesion on the persuasiveness of expert group recommendations » () (DOI 10.1037/e512142015-190)
    —2014 Society of Personality and Social Psychology Conference
  143. ↑ (en) Agar, « Don't Worry about Superintelligence », Journal of Evolution & Technology, vol. 26, no 1,‎ , p. 73–82 (lire en ligne [archive du ], consulté le )
  144. ↑ (en-US) Ted Greenwald, « Does Artificial Intelligence Pose a Threat? », sur WSJ (consulté le )
  145. ↑ (en-US) Condé Nast, « The Doomsday Invention », sur The New Yorker, (consulté le ) : « there is not a good track record of less intelligent things controlling things of greater intelligence »
  146. ↑ (en-US) Condé Nast, « The Doomsday Invention », sur The New Yorker, (consulté le ) : « the prospect of discovery is too sweet »
  147. ↑ Richard Posner, Catastrophe: risk and response, Oxford, Oxford University Press, (ISBN 978-0-19-530647-7)
  148. ↑ (en) James Hamblin, « But What Would the End of Humanity Mean for Me? », sur The Atlantic, (consulté le ) : « Get out of here. I have a hundred thousand things I am concerned about at this exact moment. Do I seriously need to add to that a technological singularity? »
  149. ↑ (en-US) « Barack Obama Talks AI, Robo Cars, and the Future of the World » (citation traduite depuis l'anglais), Wired,‎ (ISSN 1059-1028, lire en ligne, consulté le ) :

    « there are a few people who believe that there is a fairly high-percentage chance that a generalized AI will happen in the next 10 years. But the way I look at it is that in order for that to happen, we’re going to need a dozen or two different breakthroughs. So you can monitor when you think these breakthroughs will happen. »
  150. ↑ (en-US) « Barack Obama Talks AI, Robo Cars, and the Future of the World » (citation traduite depuis l'anglais), Wired,‎ (ISSN 1059-1028, lire en ligne, consulté le ) :

    « And you just have to have somebody close to the power cord. [Laughs.] Right when you see it about to happen, you gotta yank that electricity out of the wall, man. »
  151. ↑ (en) « Hillary Clinton on AI risk », sur lukemuehlhauser.com (consulté le ) : « Technologists like Elon Musk, Sam Altman, and Bill Gates, and physicists like Stephen Hawking have warned that artificial intelligence could one day pose an existential security threat. Musk has called it “the greatest risk we face as a civilization.” Think about it: Have you ever seen a movie where the machines start thinking for themselves that ends well? Every time I went out to Silicon Valley during the campaign, I came home more alarmed about this. My staff lived in fear that I’d start talking about “the rise of the robots” in some Iowa town hall. Maybe I should have. In any case, policy makers need to keep up with technology as it races ahead, instead of always playing catch-up. »
  152. ↑ (en) Sam Shead, « Over a third of people think AI poses a threat to humanity », Business Insider,‎ (lire en ligne)
  153. ↑ (en-US) Jacob Brogan (citation traduite depuis l'anglais), « What Slate Readers Think About Killer A.I. », Slate,‎ (ISSN 1091-2339, lire en ligne, consulté le ) :

    « most of the (readers filling out our online survey) were unconvinced that A.I. itself presents a direct threat. »
  154. ↑ (en-US) Marco della Cava, « Elon Musk says AI could doom human civilization. Zuckerberg disagrees. Who's right? », sur USA TODAY (consulté le )
  155. ↑ (en) LIPPENS, « Imachinations of Peace: Scientifictions of Peace in Iain M. Banks's The Player of Games », Utopianstudies Utopian Studies, vol. 13, no 1,‎ , p. 135–147 (ISSN 1045-991X, OCLC 5542757341)
  156. ↑ a et b Barrett et Baum, « A model of pathways to artificial superintelligence catastrophe for risk and decision analysis », Journal of Experimental & Theoretical Artificial Intelligence, vol. 29, no 2,‎ , p. 397–414 (ISSN 0952-813X, DOI 10.1080/0952813x.2016.1186228, arXiv 1607.07730, S2CID 928824, lire en ligne [archive du ], consulté le )
  157. ↑ Ramamoorthy et Yampolskiy, « Beyond MAD? The race for artificial general intelligence », ICT Discoveries, ITU, vol. 1, no Special Issue 1,‎ , p. 1–8 (lire en ligne [archive du ], consulté le )
  158. ↑ (en) Carayannis et Draper, « Optimising peace through a Universal Global Peace Treaty to constrain the risk of war from a militarised artificial superintelligence », AI & Society,‎ , p. 1–14 (ISSN 0951-5666, PMID 35035113, PMCID 8748529, DOI 10.1007/s00146-021-01382-y, S2CID 245877737)
  159. ↑ (en) James Vincent, « Google's AI researchers say these are the five key problems for robot safety », The Verge,‎ (lire en ligne)
  160. ↑ Amodei, Dario, Chris Olah, Jacob Steinhardt, Paul Christiano, John Schulman, and Dan Mané. "Concrete problems in AI safety." arXiv preprint arXiv:1606.06565 (2016).
  161. ↑ Toby Ord, The Precipice: Existential Risk and the Future of Humanity, Bloomsbury Publishing Plc, (ISBN 9781526600196)
  162. ↑ (en) Alex Johnson, « Elon Musk wants to hook your brain up directly to computers — starting next year », NBC News,‎ (lire en ligne)
  163. ↑ (en) Phil Torres, « Only Radically Enhancing Humanity Can Save Us All », Slate Magazine,‎ (lire en ligne)
  164. ↑ (en-GB) Condé Nast, « AI uprising: humans will be outsourced, not obliterated », Wired UK,‎ (ISSN 1357-0978, lire en ligne, consulté le )
  165. ↑ (en-GB) « How are humans going to become extinct? », BBC News,‎ (lire en ligne, consulté le )
  166. ↑ (en) Mark Bridge, « Making robots less confident could prevent them taking over », The Times,‎ (ISSN 0140-0460, lire en ligne, consulté le )
  167. ↑ « Pause Giant AI Experiments: An Open Letter », Future of Life Institute (consulté le ) : « Advanced AI could represent a profound change in the history of life on Earth »
  168. ↑ (en) Samantha Murphy Kelly, « Elon Musk and other tech leaders call for pause in 'out of control' AI race | CNN Business », sur CNN, (consulté le )
  169. ↑ (en) « The Open Letter to Stop 'Dangerous' AI Race Is a Huge Mess », sur www.vice.com (consulté le ) : « the letter isn't perfect, but the spirit is right. »
  170. ↑ (en) « The Open Letter to Stop 'Dangerous' AI Race Is a Huge Mess », sur www.vice.com (consulté le ) : « I don't think a six month pause is the best idea or agree with everything but there are some interesting things in that letter. »
  171. ↑ (en) « Musk and Wozniak among 1,100+ signing open letter calling for 6-month ban on creating powerful A.I. », sur Fortune (consulté le )
  172. ↑ (en-US) Decrypt / Jason Nelson, « Elon Musk, Steve Wozniak Urge OpenAI to Halt ChatGPT Upgrades », sur Decrypt, (consulté le ) : « Leading AGI developers will not heed this warning, but at least it was said. »
  173. ↑ (en) The Associated Press, « Tech leaders urge a pause in the 'out-of-control' artificial intelligence race », NPR,‎
  174. ↑ (en-GB) Kari Paul (citation traduite depuis l'anglais), « Letter signed by Elon Musk demanding AI research pause sparks controversy », The Guardian,‎ (ISSN 0261-3077, lire en ligne, consulté le ) :

    « By treating a lot of questionable ideas as a given, the letter asserts a set of priorities and a narrative on AI that benefits the supporters of FLI. Ignoring active harms right now is a privilege that some of us don’t have. »
  175. ↑ (en-US) Ali Breland, « Elon Musk: We need to regulate AI before ‘it’s too late’ », sur The Hill, (consulté le ) : « Normally the way regulations are set up is when a bunch of bad things happen, there's a public outcry, and after many years a regulatory agency is set up to regulate that industry [...] It takes forever. That, in the past, has been bad but not something which represented a fundamental risk to the existence of civilisation. »
  176. ↑ (en) Camila Domonoske, « Elon Musk Warns Governors: Artificial Intelligence Poses 'Existential Risk' »,  : « Once there is awareness, people will be extremely afraid, [...] As they should be. »
  177. ↑ (en) Camila Domonoske, « Elon Musk Warns Governors: Artificial Intelligence Poses 'Existential Risk' », NPR,‎ (lire en ligne)
  178. ↑ (en) Samuel Gibbs, « Elon Musk: regulate AI to combat 'existential threat' before it's too late », The Guardian,‎ (lire en ligne)
  179. ↑ (en) Arjun Kharpal, « A.I. is in its 'infancy' and it's too early to regulate it, Intel CEO Brian Krzanich says », sur CNBC (consulté le )
  180. ↑ (en) Arjun Kharpal, « A.I. is in its 'infancy' and it's too early to regulate it, Intel CEO Brian Krzanich says », sur CNBC (consulté le )
  181. ↑ Kaplan et Haenlein, « Siri, Siri, in my hand: Who's the fairest in the land? On the interpretations, illustrations, and implications of artificial intelligence », Business Horizons, vol. 62,‎ , p. 15–25 (DOI 10.1016/j.bushor.2018.08.004, S2CID 158433736)
  182. ↑ Baum, Goertzel et Goertzel, « How long until human-level AI? Results from an expert assessment », Technological Forecasting and Social Change, vol. 78, no 1,‎ , p. 185–195 (ISSN 0040-1625, DOI 10.1016/j.techfore.2010.09.006)
  183. ↑ United States. Defense Innovation Board., AI principles : recommendations on the ethical use of artificial intelligence by the Department of Defense (OCLC 1126650738)
  184. ↑ Nindler, « The United Nation's Capability to Manage Existential Risks with a Focus on Artificial Intelligence », International Community Law Review, vol. 21, no 1,‎ , p. 5–34 (ISSN 1871-9740, DOI 10.1163/18719732-12341388, S2CID 150911357, lire en ligne [archive du ], consulté le )
  185. ↑ Stefanik, « H.R.5356 - 115th Congress (2017-2018): National Security Commission Artificial Intelligence Act of 2018 » [archive du ], www.congress.gov, (consulté le )
  186. ↑ Geist, « It's already too late to stop the AI arms race—We must manage it instead », Bulletin of the Atomic Scientists, vol. 72, no 5,‎ , p. 318–321 (ISSN 0096-3402, DOI 10.1080/00963402.2016.1216672, Bibcode 2016BuAtS..72e.318G, S2CID 151967826)
  187. ↑ Maas, « How viable is international arms control for military artificial intelligence? Three lessons from nuclear weapons of mass destruction », Contemporary Security Policy, vol. 40, no 3,‎ , p. 285–311 (ISSN 1352-3260, DOI 10.1080/13523260.2019.1576464, S2CID 159310223)
Ce document provient de « https://fr.wikipedia.org/w/index.php?title=Risque_de_catastrophe_planétaire_lié_à_l%27intelligence_artificielle_générale&oldid=203345656 ».