Cohen’s Kappa Statistic

Definizioni statistiche > Statistica Kappa di Cohen

Che cos’è la statistica Kappa di Cohen?

La statistica kappa di Cohen misura l’affidabilità dell’interprete (talvolta chiamata accordo tra gli osservatori). L’affidabilità dell’interrattore, o precisione, si verifica quando i vostri valutatori (o raccoglitori) dei dati danno lo stesso punteggio allo stesso elemento.

Questa statistica dovrebbe essere calcolata solo quando:

• Due valutatori valutano ciascuno una prova per ogni campione, oppure.
• Un valutatore valuta due prove per ogni campione.

Inoltre, il Kappa di Cohen presuppone che i valutatori siano scelti deliberatamente. Se i vostri valutatori sono scelti a caso da una popolazione di valutatori, usate invece il kappa di Fleiss.

Storicamente, la percentuale di accordo (numero di punteggi di accordo / punteggi totali) è stata usata per determinare l’affidabilità tra i valutatori. Tuttavia, l’accordo casuale dovuto ai valutatori che indovinano è sempre una possibilità – nello stesso modo in cui una risposta “corretta” casuale è possibile in un test a scelta multipla. La statistica Kappa tiene conto di questo elemento del caso.

La statistica Kappa varia da 0 a 1, dove.

• 0 = accordo equivalente al caso.
• 0.1 – 0.20 = accordo leggero.
• 0.21 – 0.40 = discreto accordo.
• 0.41 – 0.60 = moderato accordo.
• 0.61 – 0.80 = sostanziale accordo.
• 0.81 – 0.99 = quasi perfetto accordo
• 1 = perfetto accordo.

Nota che queste linee guida possono essere insufficienti per ricerche e test relativi alla salute. Elementi come le letture delle radiografie e i risultati degli esami sono spesso giudicati soggettivamente. Mentre l’accordo interrater di .4 potrebbe essere OK per un sondaggio generale, è generalmente troppo basso per qualcosa come uno screening del cancro. Come tale, generalmente vorrete un livello più alto per un’affidabilità interrater accettabile quando si tratta di salute.

Esempio di calcolo

La maggior parte dei software statistici ha la capacità di calcolare k. Per insiemi di dati semplici (cioè due raters, due item) calcolare k a mano è abbastanza semplice. Per insiemi di dati più grandi, probabilmente vorrete usare un software come SPSS.

La seguente formula è usata per l’accordo tra due valutatori. Se hai più di due valutatori, avrai bisogno di usare una variazione della formula. Per esempio, in SAS la procedura per la Kappa è PROC FREQ, mentre avrai bisogno di usare la macro SAS MAGREE per più valutatori.

La formula per calcolare il kappa di Cohen per due valutatori è:

dove:
Po = l’accordo relativo osservato tra i valutatori.
Pe = la probabilità ipotetica di accordo casuale

Domanda di esempio: I seguenti dati ipotetici provengono da un test medico in cui due radiografi hanno valutato 50 immagini che necessitano di ulteriori studi. I ricercatori (A e B) hanno detto Sì (per ulteriori studi) o No (non servono ulteriori studi).

• 20 immagini sono state valutate Sì da entrambi.
• 15 immagini sono state valutate No da entrambi.
• In totale, il classificatore A ha detto Sì a 25 immagini e No a 25.
• In totale, il classificatore B ha detto Sì a 30 immagini e No a 20.

Calcolare il kappa di Cohen per questo set di dati.

Step 1: Calcolare po (l’accordo proporzionale osservato):
20 immagini sono state valutate Sì da entrambi.
15 immagini sono state valutate No da entrambi.
Quindi,
Po = numero in accordo / totale = (20 + 15) / 50 = 0,70.

Step 2: Trova la probabilità che i classificatori dicano casualmente entrambi Sì.
Il classificatore A ha detto Sì a 25/50 immagini, o 50% (0,5).
Il classificatore B ha detto Sì a 30/50 immagini, o 60% (0,6).
La probabilità totale che i classificatori dicano entrambi Sì in modo casuale è:
0,5 * 0,6 = 0,30.

Fase 3: Calcola la probabilità che i valutatori dicano entrambi casualmente No.
Il valutatore A ha detto No a 25/50 immagini, o 50%(0.5).
Il valutatore B ha detto No a 20/50 immagini, o 40%(0.6).
La probabilità totale che i valutatori dicano entrambi casualmente No è:
0.5 * 0.4 = 0.20.

Passo 4: Calcola Pe. Aggiungi le tue risposte dai passi 2 e 3 per ottenere la probabilità complessiva che i valutatori siano casualmente d’accordo.
Pe = 0,30 + 0,20 = 0,50.

Passo 5: Inserisci i tuoi calcoli nella formula e risolvi:

k = (Po – pe) / (1 – pe = (0.70 – 0,50) / (1 – 0,50) = 0,40.

k = 0,40, che indica un discreto accordo.

Beyer, W. H. CRC Standard Mathematical Tables, 31st ed. Boca Raton, FL: CRC Press, pp. 536 e 571, 2002.
Agresti A. (1990) Analisi dei Dati Categorici. John Wiley and Sons, New York.
Kotz, S.; et al., eds. (2006), Encyclopedia of Statistical Sciences, Wiley.
Vogt, W.P. (2005). Dictionary of Statistics & Methodology: A Nontechnical Guide for the Social Sciences. SAGE.

——————————————————————————

Hai bisogno di aiuto per un compito a casa o per un test? Con Chegg Study, puoi ottenere soluzioni passo dopo passo alle tue domande da un esperto del settore. I tuoi primi 30 minuti con un tutor Chegg sono gratuiti!