Kappa de Cohen

Un article de Wikipédia, l'encyclopédie libre.
Aller à : navigation, rechercher
Page d'aide sur l'homonymie Pour les articles homonymes, voir Kappa (homonymie).

En statistique, le test du κ (kappa) mesure l’accord entre observateurs lors d'un codage qualitatif en catégories.

Le calcul du κ se fait de la manière suivante :

Où Pr(a) est l'accord relatif entre codeurs et Pr(e) la probabilité d'un accord aléatoire. Si les codeurs sont totalement en accord, κ = 1. S'ils sont totalement en désaccord (ou en accord dû uniquement au hasard), κ ≤ 0.

L'article introduisant le κ a pour auteur Jacob Cohen – d'où sa désignation de κ de Cohen – et est paru dans le journal Educational and Psychological Measurement en 1960.

Le κ est une mesure d'accord entre deux codeurs seulement. Pour une mesure de l'accord entre plus de deux codeurs, on utilise le κ de Fleiss (1981).

Exemple[modifier | modifier le code]

La méthode de Kappa mesure le degré de concordance entre deux évaluateurs, par rapports au hasard.

Premier cas[modifier | modifier le code]

Supposons deux évaluateurs (Marc et Mathieu) sont en charges de définir dans un groupe de 50 étudiants ceux qui seront reçu ou non à l'examen final. Chacun d'eux contrôle la copie de chaque étudiant et la note comme reçu ou non reçu ( OUI ou NON). Le tableau ci dessous relate les résultats :

Marc
OUI NON
Mathieu OUI a b
NON c d
Marc
OUI NON
Mathieu OUI 20 5
NON 10 15

L'observation des accords entre évaluateurs est :

Pour calculer la probalité d'accord "au hasard", on note que :

  • Mathieu a noté "OUI" à 25 étudiants, soit 50% des cas.
  • Marc a noté "OUI" dans 60%, soit 30 étudiants sur 50.

Ainsi la probabilité attendue que les deux correcteurs note "OUI" est  :

De même la probabilité que les deux correcteurs note "NON" est :

La probabilité globale que les correcteurs soit en accord est donc :

La formule de Kappa donnera alors :

Second cas[modifier | modifier le code]

Dans une autre proportion nous aurions obtenu :

Marc
OUI NON
Mathieu OUI 25 2
NON 3 20

L'observation des accords entre évaluateurs est :

Pour calculer la probalité d'accord "au hasard", on note que :

  • Mathieu a noté "OUI" à 27 étudiants, soit 54% des cas,
  • et que Marc a noté "OUI" dans 56 %.

Ainsi la probabilité attendue que les deux correcteurs note "OUI" est  :

De même la probabilité que les deux correcteurs note "NON" est :

La probabilité globale que les correcteurs soit en accord est donc :

La formule de Kappa donnera alors :

Ordres de grandeur[modifier | modifier le code]

Landis et Koch[1] ont proposé la table suivante pour interpréter le κ de Cohen. Il s'agit d'ordres de grandeurs qui ne font pas consensus dans la communauté scientifique[2], notamment parce que le nombre de catégories influe sur l'estimation obtenue – moins il y a de catégories, plus le κ est élevé[3].

Interpretation
< 0 Désaccord
0.0 — 0.20 Accord très faible
0.21 — 0.40 Accord faible
0.41 — 0.60 Accord modéré
0.61 — 0.80 Accord fort
0.81 — 1.00 Accord presque parfait

Notes et références[modifier | modifier le code]

  1. Landis, J. R. and Koch, G. G. (1977) pp. 159--174
  2. Gwet, K. (2001)
  3. Sim, J. and Wright, C. C. (2005) pp. 257--268

Liens externes[modifier | modifier le code]