Statistique Kappa de Cohen

Définitions statistiques >Statistique Kappa de Cohen

Qu’est-ce que la statistique Kappa de Cohen ?

La statistique Kappa de Cohen mesure la fiabilité inter-juges (parfois appelée accord inter-observateurs). La fiabilité inter-juges, ou précision, se produit lorsque vos évaluateurs (ou collecteurs) de données donnent le même score au même élément de données.

Cette statistique ne doit être calculée que lorsque :

• Deux évaluateurs notent chacun un essai sur chaque échantillon, ou.
• Un évaluateur note deux essais sur chaque échantillon.

En outre, le Kappa de Cohen a pour hypothèse que les évaluateurs sont délibérément choisis. Si vos évaluateurs sont choisis au hasard dans une population d’évaluateurs, utilisez plutôt le kappa de Fleiss.

Historiquement, le pourcentage d’accord (nombre de notes d’accord / notes totales) était utilisé pour déterminer la fiabilité interévaluateurs. Cependant, un accord fortuit dû à des évaluateurs qui devinent est toujours possible – de la même manière qu’une  » bonne  » réponse fortuite est possible dans un test à choix multiples. La statistique Kappa prend en compte cet élément de hasard.

La statistique Kappa varie de 0 à 1, où.

• 0 = accord équivalent au hasard.
• 0,1 – 0,20 = accord léger.
• 0,21 – 0,40 = accord passable.
• 0,41 – 0,60 = accord modéré.
• 0,61 – 0,80 = accord substantiel.
• 0,81 – 0,99 = accord presque parfait
• 1 = accord parfait.

Notez que ces directives peuvent être insuffisantes pour les recherches et les tests liés à la santé. Des éléments comme les lectures de radiographies et les résultats d’examens sont souvent jugés de manière subjective. Si une concordance inter-juges de 0,4 peut être acceptable pour une enquête générale, elle est généralement trop faible pour quelque chose comme un dépistage du cancer. En tant que tel, vous voudrez généralement un niveau plus élevé pour une fiabilité inter-juges acceptable lorsqu’il s’agit de santé.

Exemple de calcul

La plupart des logiciels statistiques ont la capacité de calculer k. Pour les ensembles de données simples (c’est-à-dire deux évaluateurs, deux éléments), calculer k à la main est assez simple. Pour des ensembles de données plus importants, vous voudrez probablement utiliser un logiciel comme SPSS.

La formule suivante est utilisée pour l’accord entre deux évaluateurs. Si vous avez plus de deux évaluateurs, vous devrez utiliser une variation de formule. Par exemple, dans SAS, la procédure pour Kappa est PROC FREQ, alors que vous devrez utiliser la macro SAS MAGREE pour les évaluateurs multiples.

La formule pour calculer le kappa de Cohen pour deux évaluateurs est :

où :
Po = l’accord relatif observé entre les évaluateurs.
Pe = la probabilité hypothétique d’un accord fortuit

Exemple de question : Les données hypothétiques suivantes proviennent d’un test médical où deux radiographes ont noté 50 images comme nécessitant une étude plus approfondie. Les chercheurs (A et B) ont soit dit Oui (pour une étude plus approfondie), soit Non (Pas d’étude plus approfondie nécessaire).

• 20 images ont été notées Oui par les deux.
• 15 images ont été notées Non par les deux.
• Dans l’ensemble, le chercheur A a dit Oui à 25 images et Non à 25.
• Dans l’ensemble, le chercheur B a dit Oui à 30 images et Non à 20.

Calculez le kappa de Cohen pour cet ensemble de données.

Étape 1 : Calculez po (l’accord proportionnel observé) :
20 images ont été notées Oui par les deux.
15 images ont été notées Non par les deux.
Donc,
Po = nombre en accord / total = (20 + 15) / 50 = 0,70.

Étape 2 : Trouver la probabilité que les évaluateurs disent tous deux Oui au hasard.
Le évaluateur A a dit Oui à 25/50 images, soit 50%(0,5).
L’évaluateur B a dit Oui à 30/50 images, soit 60%(0,6).
La probabilité totale que les évaluateurs disent tous deux Oui au hasard est :
0,5 * 0,6 = 0,30.

Étape 3 : Calculer la probabilité que les évaluateurs disent tous deux non au hasard.
L’évaluateur A a dit non à 25/50 images, soit 50%(0,5).
L’évaluateur B a dit non à 20/50 images, soit 40%(0,6).
La probabilité totale que les évaluateurs disent tous deux non au hasard est :
0,5 * 0,4 = 0,20.

Étape 4 : Calculez Pe. Additionnez vos réponses des étapes 2 et 3 pour obtenir la probabilité globale que les évaluateurs soient d’accord au hasard.
Pe = 0,30 + 0,20 = 0,50.

Étape 5 : Insérez vos calculs dans la formule et résolvez :

k = (Po – pe) / (1 – pe = (0.70 – 0,50) / (1 – 0,50) = 0,40.

k = 0,40, ce qui indique un accord équitable.

Beyer, W. H. CRC Standard Mathematical Tables, 31st ed. Boca Raton, FL : CRC Press, pp. 536 et 571, 2002.
Agresti A. (1990) Analyse des données catégorielles. John Wiley and Sons, New York.
Kotz, S. ; et al., eds. (2006), Encyclopédie des sciences statistiques, Wiley.
Vogt, W.P. (2005). Dictionnaire des statistiques & Méthodologie : Un guide non technique pour les sciences sociales. SAGE.

——————————————————————————

Vous avez besoin d’aide pour un devoir ou une question de test ? Avec Chegg Study, vous pouvez obtenir des solutions étape par étape à vos questions de la part d’un expert dans le domaine. Vos 30 premières minutes avec un tuteur Chegg sont gratuites !