Philip E. Tetlock

Un article de Wikipédia, l'encyclopédie libre.
Philip Tetlock
Biographie
Naissance
Voir et modifier les données sur Wikidata (70 ans)
TorontoVoir et modifier les données sur Wikidata
Nom de naissance
Philip Eyrikson TetlockVoir et modifier les données sur Wikidata
Nationalité
Domicile
Formation
Activités
Conjoint
Barbara Mellers (en)Voir et modifier les données sur Wikidata
Autres informations
A travaillé pour
Membre de
Académie américaine des arts et des sciences
University of Pennsylvania Department of Psychology (d)Voir et modifier les données sur Wikidata
Distinctions

Philip E. Tetlock (né en 1954) est un auteur canado-américain de sciences politiques et est actuellement professeur à l'université Annenberg de l'université de Pennsylvanie, où il est nommé à la Wharton School et à la School of Arts and Sciences . Il a été élu membre de la Société Américaine de Philosophie en 2019.

Il a écrit plusieurs essais à l'intersection de la psychologie, des sciences politiques et du comportement, notamment Superforecasting: The Art and Science of Prediction ; Expert Political Judgment: How Good Is It? How Can We Know? ; Unmaking the West: What-if Scenarios that Rewrite World History; et Counterfactual Thought Experiments in World Politics. Il est également cofondateur du Good Judgment Project, qui cherche à améliorer la précision des probabilités d'événements à enjeux élevés.

Biographie[modifier | modifier le code]

Tetlock est né en 1954 à Toronto, au Canada et a terminé ses études de premier cycle à l'Université de la Colombie-Britannique et son doctorat à l'université Yale, obtenant son doctorat en 1979.

Il a siégé à la faculté de l'université de Californie à Berkeley (1979–1995, professeur adjoint), de l'université d'État de l'Ohio (la Chaire Burtt en psychologie et science politique, 1996–2001) et de nouveau à l'université de Californie à Berkeley (la chaire Mitchell de la Haas School of Business, 2002-2010). Depuis 2011, il est professeur à l'université Annenberg de l'université de Pennsylvanie.

Tetlock a reçu des prix de sociétés et fondations scientifiques, notamment l'Association américaine de psychologie, l'American Political Science Association, l'Association américaine pour l'avancement des sciences, l'International Society of Political Psychology, l'Académie américaine des arts et des sciences, l'Académie nationale des sciences et la fondation MacArthur.

Travaux[modifier | modifier le code]

Il a publié plus de 200 articles dans des revues à comité de lecture et a édité ou écrit dix livres[1].

Le programme de recherche de Tetlock au cours des quatre dernières décennies a exploré cinq thèmes:

  1. le concept de bon jugement (avec un accent particulier sur l'utilité des tournois de prédiction, pour évaluer leur exactitude)
  2. l'impact de devoir rendre des comptes publiquement (accountability) sur le jugement et le choix
  3. les contraintes des valeurs sacrées
  4. la distinction entre psychologie politique et psychologie politisée
  5. l'utilité des expériences de société hypothétique, pour démêler les jugements de fait et de valeur, sur l'impact de propositions politiques concurrentes.

Le Good Judgment Project[modifier | modifier le code]

Au cours de ses premiers travaux sur le bon jugement, résumés dans Expert Political Judgment: How Good Is It? How Can We Know?[2], Tetlock a organisé une série de tournois de prévisions à petite échelle entre 1984 et 2003. Les prévisionnistes étaient 284 experts de divers domaines, y compris des responsables gouvernementaux, des professeurs, des journalistes et autres, avec de nombreuses opinions, des marxistes aux partisans du libre marché.

Les tournois impliquèrent environ 28000 prédictions et révélèrent que les prévisionnistes n'étaient souvent que légèrement plus précis que le hasard, et généralement pires que les algorithmes basiques d'extrapolation, en particulier sur les prévisions aux échéances de trois à cinq ans. Les prévisionnistes les plus médiatiques étaient particulièrement mauvais. Ce travail suggère qu'il existe une relation inverse entre la renommée et l'exactitude des prévisions.

À la suite de ce travail, il a reçu le prix Grawemeyer 2008 pour l'amélioration de l'ordre mondial décernée par l'Université de Louisville, ainsi que le prix Woodrow Wilson 2006 pour le meilleur livre publié sur le gouvernement, la politique ou les affaires internationales et le prix Robert E. Lane pour meilleur livre en psychologie politique, tous deux de l'American Political Science Association en 2005. Le projet d'expertise politique a également comparé l'historique des prédictions réussies des «renards» et des «hérissons» (deux types de personnalité identifiés dans l'essai de Isaiah Berlin de 1950 Le Hérisson et le Renard). Les «hérissons» ont moins bien réussi dans leur domaine d'expertise, notamment sur les prévisions à long terme.

Ces résultats ont été largement diffusés dans les médias et ont attiré l'attention de l'Intelligence Advanced Research Projects Activity (IARPA) au sein de la communauté du renseignement des États-Unis. Ils furent en partie responsable du lancement en 2011 d'un tournoi de prévision géopolitique de quatre ans qui a mobilisé des dizaines de milliers de prévisionnistes et a établi plus d'un million de prévisions sur environ 500 questions de sécurité nationale des États-Unis, au sens large.

Depuis 2011, Tetlock et son épouse et partenaire de recherche Barbara Mellers codirigent le Good Judgment Project (GJP), un projet qui gagna le tournoi IARPA -ACE [3]. L'objectif initial du tournoi était d'améliorer les prévisions géopolitiques et géoéconomiques. Les questions étaient par exemple "Quelle est la chance qu'un membre se retire de l'Union Européenne d'ici une date cible?" ou "Quelle est la probabilité d’affrontements navals faisant plus de 10 morts dans la mer de Chine orientale?" ou encore "Quelle est la probabilité que le chef de l'État du Venezuela démissionne d'ici une date cible?" Le tournoi a mis au défi GJP et ses concurrents issus d'autres établissements universitaires de trouver des méthodes innovantes de recrutement de prévisionnistes doués, des méthodes de formation des prévisionnistes aux principes de base du raisonnement probabiliste, des méthodes de formation d'équipes qui sont plus que la somme de leurs parties et le développement d'algorithmes d'agrégation qui tirent profit le plus efficacement de la sagesse des foule[4],[5],[6],[7],[8].

Les résultats les plus surprenants du tournoi étaient :

  1. l'amélioration obtenue par des exercices d'entraînement simples dans la précision des jugements probabilistes (mesurés par les scores de Brier)[3],[4]
  2. la finesse de niveau d'incertitude que les meilleurs prévisionnistes pouvaient apprendre à distinguer le long de l'échelle de probabilité de zéro à un (beaucoup plus résolue que l'échelle traditionnelle à 7 points utilisée par le National Intelligence Council)[9]
  3. la persistance des performances des prévisionnistes d'élite (superforecasters) dans le temps et les catégories de questions[5],[6]
  4. la puissance d'un algorithme d'agrégation d'extrémisation de cotes logarithmiques pour surpasser les concurrents[7],[8]
  5. la capacité du GJP à générer des estimations de probabilité "qui auraient été 30% meilleures que celles des officiers du renseignement ayant accès à de véritables informations classifiées"

Ces résultats et d'autres sont présentés sous une forme particulièrement accessible dans le livre Superforecasting de Tetlock et Gardner (2015). Le livre présente également plusieurs super-prévisionnistes (superforecasters). Les auteurs soulignent qu'une bonne prévision ne nécessite pas d'ordinateurs puissants ou de méthodes obscures, mais plutôt de rassembler des preuves à partir de diverses sources, de penser de manière probabiliste, de travailler en équipe, de mesurer des scores et d'être prêt à admettre l'erreur et à changer de cap.

Il y a une tension, sinon une contradiction, entre les positions prises dans le Good Judgement Project et celles que Tetlock a prises dans son livre précédent Expert Political Judgment: How Good Is It? How can we know? (2005). Le ton plus pessimiste de Expert Political Judgment (2005) et le ton optimiste de Superforecasting (2015) reflètent moins un changement dans les vues de Tetlock sur la faisabilité de la prévision que les différentes sources de données dans les deux projets. Le livre Superforecasting s'est concentré sur des prévisions à courtes échéance: la plus longue, environ 12 mois, correspondait aux prévisions les plus courtes dans Expert Political Judgment. Tetlock et Gardner (2015) suggèrent également qu'afficher publiquement la responsabilité des participants au dernier tournoi IARPA augmenta les performances. Apparemment, "même les hérissons les plus obtus deviennent plus circonspects"[9] lorsqu'ils sentent que leur exactitude sera bientôt comparée à celle de leurs rivaux idéologiques.

Tetlock et Mellers[10] voient les tournois de prévision comme un mécanisme possible pour aider les agences de renseignement à échapper au ping-pong de blâmes, dans lequel les agences critiquées, soit d'être trop lentes à émettre des avertissements (faux négatifs, comme le ) ou trop rapide (faux positifs). Ils soutiennent que les tournois sont des moyens de signaler qu'une organisation s'engage à un jeu de pure précision, à générer des estimations de probabilité aussi précises que possible, et évite de biaiser les estimations pour éviter leur dernière erreur[11].

Responsabilité et processus de jugement[modifier | modifier le code]

Dans un essai de 1985, Tetlock proposa que la responsabilité publique soit un concept clé pour relier les niveaux individuels d'analyse à la société[12]. La responsabilité lie les gens aux collectivités en précisant qui doit répondre à qui, pour quoi et selon quelles règles de base[13]. Dans ses travaux antérieurs dans ce domaine, il montra que certaines formes de responsabilité peuvent rendre les humains plus réfléchis et autocritiques de manière constructive (réduisant la probabilité de biais ou d'erreurs), tandis que d'autres formes de responsabilité peuvent nous rendre plus rigides et défensifs (mobiliser les efforts pour défendre les positions antérieures et pour critiquer les critiques)[14]. Dans un essai de 2009, Tetlock expliqua que beaucoup de choses étaient encore inconnues sur la profondeur psychologique des effets de la responsabilité publique - par exemple, s'il est ou non possible de corriger les biais d'association[15], thème avec des implications juridiques pour les entreprises dans le cadre de recours collectifs pour discrimination à l'emploi[16].

En plus de son travail sur les effets de la responsabilité publique sur l'atténuation ou l'amplification des biais, Tetlock explora les dimensions politiques de la responsabilité, par exemple, les divergences entre libéraux et conservateurs su la «responsabilité des processus» (qui tient les gens responsables du respect des règles) par rapport à la «responsabilité des résultats» (qui tient les gens responsables des conséquences des actes)[17],[18]. Tetlock utilise l'expression «programme de recherche intuitif politicien» pour décrire ce sujet de travail[19].

Cognition taboue et valeurs sacrées[modifier | modifier le code]

Tetlock a également travaillé sur la façon dont les gens réagissent aux menaces contre leurs valeurs sacrées, et comment ils s'efforcent de structurer les situations afin d'éviter des compromis impliquant des valeurs sacrées[20],[21],[22],[23]. Les implications sont largement explorées dans des revues d'écoles de commerce telles que le Journal of Consumer Research, la California Management Review et le Journal of Consumer Psychology. Cette recherche montre que la plupart des gens refuse l'idée que les valeurs morales et politiques sont des inventions arbitraires essayant d'insuffler une morale à un univers autrement dénué de sens[24],[25],[26],[27]. Au contraire, nous préférons croire que nous avions des valeurs sacrées qui fournissent des fondations solides à nos opinions morales et politiques. Nous pouvons devenir des «procureurs intuitifs» très sévères lorsque nous sentons que nos valeurs sacrées ont été sérieusement violées, allant bien au-delà des punitions socialement acceptables, lorsque nous avons la possibilité de le faire secrètement[28].

Psychologie politique versus psychologie politisée[modifier | modifier le code]

Tetlock s'intéresse depuis longtemps aux tensions entre la psychologie politique et la psychologie politisée. Il soutient que la plupart des psychologues politiques supposent tacitement que la psychologie plus fondamentale que la science politique dans leur domaine hybride[29],[30]. De ce point de vue, les acteurs politiques - qu'ils soient électeurs ou dirigeants nationaux - sont des êtres humains dont le comportement devrait être soumis à des lois psychologiques fondamentales qui traversent les cultures et les périodes historiques. Bien qu'il adopte lui aussi occasionnellement cette vision réductionniste de la psychologie politique dans son travail, il a également évoqué la possibilité contraire dans de nombreux articles et chapitres que le réductionnisme fonctionne parfois à l'envers - et que la recherche psychologique est souvent motivée par un programme idéologique (dont les psychologues ne semblent être souvent que partiellement conscients). Tetlock avança des variantes de cet argument dans des articles sur les liens entre les styles cognitifs et l'idéologie (la ligne fine entre rigidité et être fondée sur des principes)[31],[32] ainsi que sur les défis de l'évaluation de concepts valorisés comme le racisme symbolique[33] et biais inconscient[34],[35],[36],[37]. Tetlock a également coécrit des articles sur la valeur de la diversité idéologique dans la recherche en sciences psychologiques et sociales[38],[39]. L'une des conséquences en étant l'échec fréquent de ce que Tetlock appelle les tests de retournement[40],[41],[42].

Philosophie politique expérimentale[modifier | modifier le code]

En collaboration avec Greg Mitchell et Linda Skitka, Tetlock mena des recherches sur des sociétés hypothétiques et des intuitions sur la justice ("philosophie politique expérimentale"). Cela concerne la question fondamentale de la théorie politique: qui devrait obtenir quoi de qui, quand, comment et pourquoi ? Dans les débats du monde réel sur la justice distributive, Tetlock soutient qu'il est pratiquement impossible de dissocier les hypothèses factuelles que les gens font au sujet des êtres humains des jugements de valeur qu'ils font sur les objectifs de l'état final, tels que l'égalité et l'efficacité[43],[44],[45],[46],[47]. Les études de société hypothétiques permettent aux spécialistes des sciences sociales de démêler ces influences, autrement désespérément confondues sur les préférences en matière de politiques publiques.

Notes et références[modifier | modifier le code]

  1. Tetlock, « CV »
  2. P.E. Tetlock, Expert political judgment : How good is it? How can we know?, Princeton University Press, (ISBN 978-0-691-12871-9, lire en ligne)
  3. a et b Tetlock, Mellers, Rohrbaugh et Chen, « Forecasting tournaments: Tools for increasing transparency and the quality of debate », Current Directions in Psychological Science, vol. 23, no 4,‎ , p. 290–295 (DOI 10.1177/0963721414534257, lire en ligne)
  4. a et b Mellers, Stone, Murray et Minster, « Identifying and Cultivating "Superforecasters" as a Method of Improving Probabilistic Predictions », Perspectives on Psychological Science, vol. 10, no 3,‎ , p. 267–281 (PMID 25987508, DOI 10.1177/1745691615577794, lire en ligne)
  5. a et b Mellers, Ungar, Fincher et Horowitz, « The Psychology of Intelligence Analysis: Drivers of Prediction Accuracy in World Politics », Journal of Experimental Psychology: Applied, vol. 21, no 1,‎ , p. 1–14 (PMID 25581088, DOI 10.1037/xap0000040, lire en ligne)
  6. a et b Mellers, Ungar, Baron et Ramos, « Psychological strategies for winning a geopolitical tournament », Psychological Science, vol. 25, no 5,‎ , p. 1106–1115 (PMID 24659192, DOI 10.1177/0956797614524255)
  7. a et b Satopaa, Baron, Foster et Mellers, « Combining multiple probability predictions using a simple Logit model. », International Journal of Forecasting, vol. 30, no 2,‎ , p. 344–356 (DOI 10.1016/j.ijforecast.2013.09.009)
  8. a et b Baron, Ungar, Mellers et Tetlock, « Two reasons to make aggregated probabilities more extreme », Decision Analysis, vol. 11, no 2,‎ , p. 133–145 (DOI 10.1287/deca.2014.0293)
  9. a et b P.E. Tetlock et D. Gardner, Superforecasting : The Art and Science of Prediction, New York, Crown,
  10. Tetlock et Mellers, « Intelligent management of intelligence agencies: Beyond accountability ping-pong », American Psychologist, vol. 66, no 6,‎ , p. 542–554 (PMID 21823782, DOI 10.1037/a0024285)
  11. Tetlock, « Playing tarot on K Street », The National Interest, no Sept-Oct,‎ , p. 57–67
  12. Tetlock, « Accountability: The neglected social context of judgment and choice », Research in Organizational Behavior, vol. 7,‎ , p. 297–332
  13. Tetlock, « The impact of accountability on judgment and choice: Toward a social contingency model », Advances in Experimental Social Psychology, vol. 25,‎ , p. 331–376
  14. Lerner et Tetlock, « Accounting for the effects of accountability », Psychological Bulletin, vol. 125, no 2,‎ , p. 255–275 (PMID 10087938, DOI 10.1037/0033-2909.125.2.255, lire en ligne)
  15. Tetlock et Mitchell, « Implicit bias and accountability systems: What must organizations do to prevent discrimination », Research in Organizational Behavior, vol. 29,‎ , p. 3–38 (DOI 10.1016/j.riob.2009.10.002)
  16. Mitchell et Tetlock, « Anti-discrimination law and the perils of mind reading », The Ohio State University Law Review, vol. 67,‎ , p. 1023–1121
  17. Tetlock, Vieider, Patil et Grant, « Accountability and ideology: When left looks right and right looks left », Organizational Behavior and Human Decision Processes, vol. 122,‎ , p. 22–35 (DOI 10.1016/j.obhdp.2013.03.007, lire en ligne)
  18. Tetlock, « Cognitive biases and organizational correctives: Do both disease and cure depend on the ideological beholder? », Administrative Science Quarterly, vol. 45, no 2,‎ , p. 293–326 (DOI 10.2307/2667073, JSTOR 2667073, lire en ligne)
  19. Tetlock, « Social-functionalist frameworks for judgment and choice: The intuitive politician, theologian, and prosecutor. », Psychological Review, vol. 109, no 3,‎ , p. 451–472 (PMID 12088240, DOI 10.1037/0033-295x.109.3.451)
  20. Tetlock, Peterson et Lerner, « Revising the value pluralism model: Incorporating social content and context postulates », Ontario Symposium on Social and Personality Psychology: Values,‎
  21. Tetlock, Kristel, Elson et Green, « The psychology of the unthinkable: Taboo trade-offs, forbidden base rates, and heretical counterfactuals », Journal of Personality and Social Psychology, vol. 78, no 5,‎ , p. 853–870 (DOI 10.1037/0022-3514.78.5.853)
  22. Fiske et Tetlock, « Taboo trade-offs: Reactions to transactions that transgress spheres of justice », Political Psychology, vol. 18, no 2,‎ , p. 255–297 (DOI 10.1111/0162-895x.00058)
  23. Tetlock, « Thinking about the unthinkable: Coping with secular encroachments on sacred values », Trends in Cognitive Sciences, vol. 7, no 7,‎ , p. 320–324 (PMID 12860191, DOI 10.1016/s1364-6613(03)00135-9)
  24. Schoemaker et Tetlock, « Taboo scenarios: How to think about the unthinkable. », California Management Review, vol. 54, no 2,‎ , p. 5–24 (DOI 10.1525/cmr.2012.54.2.5)
  25. McGraw, Schwartz et Tetlock, « From the commercial to the communal: Reframing taboo trade-offs in religious and pharmaceutical marketing », Journal of Consumer Research, vol. 39,‎ , p. 157–173 (DOI 10.1086/662070, lire en ligne)
  26. McGraw et Tetlock, « Taboo trade-offs, relational framing, and the acceptability of exchanges », Journal of Consumer Psychology, vol. 15, no 1,‎ , p. 35–38 (DOI 10.1207/s15327663jcp1501_2)
  27. McGraw, Tetlock et Kristel, « The limits of fungibility: Relational schemata and the value of things », Journal of Consumer Research, vol. 30, no 2,‎ , p. 219–229 (DOI 10.1086/376805)
  28. Fincher et Tetlock, « Brutality Under Cover of Ambiguity: Activating, Perpetuating and De-Activating Covert Retributivism. », Personality and Social Psychology Bulletin, vol. 41, no 5,‎ , p. 629–642 (PMID 25758706, DOI 10.1177/0146167215571090)
  29. P.E. Tetlock, Social Psychology : Handbook of Basic Principles, , « Psychology and politics: The challenges of integrating levels of analysis in social science »
  30. Tetlock, « Social psychology and world politics », Handbook of Social Psychology,‎
  31. Tetlock, « Cognitive style and political belief systems in the British House of Commons », Journal of Personality and Social Psychology, vol. 46, no 2,‎ , p. 365–375 (DOI 10.1037/0022-3514.46.2.365)
  32. Tetlock, « A value pluralism model of ideological reasoning », Journal of Personality and Social Psychology, vol. 50, no 4,‎ , p. 819–827 (DOI 10.1037/0022-3514.50.4.819)
  33. Sniderman et Tetlock, « Symbolic racism: Problems of motive attribution in political analysis », Journal of Social Issues, vol. 42, no 2,‎ , p. 129–150 (DOI 10.1111/j.1540-4560.1986.tb00229.x)
  34. Arkes et Tetlock, « Arkes, H., & Tetlock, P.E. (2004) Attributions of implicit prejudice, or "Would Jesse Jackson 'fail' the Implicit Association Test?" », Psychological Inquiry, vol. 15, no 4,‎ , p. 257–278 (DOI 10.1207/s15327965pli1504_01)
  35. Oswald, Mitchell, Blanton et Jaccard, « Predicting ethnic and racial discrimination: A meta-analysis of IAT research », Journal of Personality and Social Psychology, vol. 105, no 2,‎ , p. 171–192 (PMID 23773046, DOI 10.1037/a0032734)
  36. Oswald, Mitchell, Blanton et Jaccard, « Using the IAT to predict ethnic and racial discrimination: Small effect sizes of unknown societal significance », Journal of Personality and Social Psychology, vol. 108, no 4,‎ , p. 562–571 (PMID 25844574, DOI 10.1037/pspa0000023)
  37. Tetlock, Mitchell et Anastasopoulos, « Detecting and punishing unconscious bias », The Journal of Legal Studies, vol. 42,‎ , p. 83–110 (DOI 10.1086/668403, lire en ligne)
  38. Duarte, Crawford, Jussim et Haidt, « Ideological diversity will improve social psychological science », Behavioral and Brain Sciences, vol. 38,‎ , e130 (PMID 25036715, DOI 10.1017/s0140525x14000430)
  39. Duarte, Crawford, Jussim et Haidt, « A Reply to the Commentaries », Behavioral and Brain Sciences, vol. 38,‎ , e164 (PMID 26816000, DOI 10.1017/S0140525X15000035, lire en ligne)
  40. Tetlock, « Political psychology or politicized psychology: Is the road to scientific hell paved with good moral intentions? », Political Psychology, vol. 15, no 3,‎ , p. 509–530 (DOI 10.2307/3791569, JSTOR 3791569)
  41. Tetlock et Mitchell, « Liberal and conservative approaches to justice: Conflicting psychological portraits. », Psychological Perspectives on Justice,‎ , p. 234–256 (ISBN 9780521431996, DOI 10.1017/CBO9780511552069.012)
  42. Tetlock, Armor et Peterson, « Tetlock, P.E., Armor, D., & Peterson, R. (1994). The slavery debate in antebellum America: Cognitive style, value conflict, and the limits of compromise », Journal of Personality and Social Psychology, vol. 66,‎ , p. 115–126 (DOI 10.1037/0022-3514.66.1.115, lire en ligne)
  43. (en) G. Mitchell et P.E. Tetlock, Social and Psychological Bases of Ideology and System Justification, New York (N.Y.), Oxford University Press, , 126–157 p. (ISBN 978-0-19-532091-6, DOI 10.1093/acprof:oso/9780195320916.003.006, lire en ligne), « Disentangling reasons and rationalizations: Exploring perceived fairness in hypothetical societies »
  44. Mitchell, Tetlock, Newman et Lerner, « Experiments behind the veil: A hypothetical societies approach to the study of social justice », Political Psychology, vol. 24, no 3,‎ , p. 519–547 (DOI 10.1111/0162-895x.00339)
  45. Mitchell, Tetlock, Mellers et Ordonez, « Judgments of social justice: Compromises between equality and efficiency », Journal of Personality and Social Psychology, vol. 65, no 4,‎ , p. 629–639 (DOI 10.1037/0022-3514.65.4.629)
  46. Skitka et Tetlock, « Providing public assistance: Cognitive and motivational processes underlying liberal and conservative policy preferences », Journal of Personality and Social Psychology, vol. 65, no 6,‎ , p. 1205–1224 (DOI 10.1037/0022-3514.65.6.1205)
  47. Skitka et Tetlock, « Allocating scarce resources: A contingency model of distributive justice », Journal of Experimental Social Psychology, vol. 28, no 6,‎ , p. 491–522 (DOI 10.1016/0022-1031(92)90043-j)

Liens externes[modifier | modifier le code]