Estadística Kappa de Cohen

Definiciones estadísticas >Estadística Kappa de Cohen

¿Qué es la estadística Kappa de Cohen?

El estadístico kappa de Cohen mide la fiabilidad entre evaluadores (a veces llamada acuerdo entre observadores). La fiabilidad entre evaluadores, o la precisión, se produce cuando sus evaluadores de datos (o recolectores) dan la misma puntuación al mismo elemento de datos.

Este estadístico sólo debe calcularse cuando:

• Dos calificadores califican cada uno un ensayo en cada muestra, o.
• Un calificador califica dos ensayos en cada muestra.

Además, el Kappa de Cohen tiene el supuesto de que los calificadores son elegidos deliberadamente. Si sus calificadores se eligen al azar de una población de calificadores, utilice en su lugar la kappa de Fleiss.

Históricamente, se utilizaba el porcentaje de acuerdo (número de puntuaciones de acuerdo / puntuaciones totales) para determinar la fiabilidad entre calificadores. Sin embargo, el acuerdo casual debido a que los calificadores adivinan es siempre una posibilidad – de la misma manera que es posible una respuesta «correcta» casual en una prueba de elección múltiple. El estadístico Kappa tiene en cuenta este elemento de azar.

El estadístico Kappa varía de 0 a 1, donde.

• 0 = acuerdo equivalente al azar.
• 0,1 – 0,20 = acuerdo ligero.
• 0,21 – 0,40 = acuerdo justo.
• 0,41 – 0,60 = acuerdo moderado.
• 0,61 – 0,80 = acuerdo sustancial.
• 0,81 – 0,99 = acuerdo casi perfecto
• 1 = acuerdo perfecto.

Nótese que estas directrices pueden ser insuficientes para investigaciones y pruebas relacionadas con la salud. Elementos como las lecturas de las radiografías y los hallazgos de los exámenes a menudo se juzgan de forma subjetiva. Mientras que una concordancia inter-agente de 0,4 puede estar bien para una encuesta general, generalmente es demasiado baja para algo como un examen de cáncer. Por lo tanto, por lo general, usted querrá un nivel más alto para una fiabilidad inter-aseguradora aceptable cuando se trata de la salud.

Ejemplo de cálculo

La mayoría del software estadístico tiene la capacidad de calcular k. Para conjuntos de datos simples (es decir, dos calificadores, dos elementos) el cálculo de k a mano es bastante sencillo. Para conjuntos de datos más grandes, probablemente querrá utilizar un software como el SPSS.

La siguiente fórmula se utiliza para el acuerdo entre dos calificadores. Si tiene más de dos calificadores, tendrá que utilizar una variación de la fórmula. Por ejemplo, en SAS el procedimiento para Kappa es PROC FREQ, mientras que tendrá que utilizar la macro SAS MAGREE para múltiples calificadores.

La fórmula para calcular la kappa de Cohen para dos calificadores es:

donde:
Po = el acuerdo relativo observado entre calificadores.
Pe = la probabilidad hipotética de acuerdo al azar

Pregunta de ejemplo: Los siguientes datos hipotéticos proceden de una prueba médica en la que dos radiógrafos calificaron 50 imágenes para que necesitaran un estudio adicional. Los investigadores (A y B) dijeron que sí (para un estudio posterior) o que no (no necesitan un estudio posterior).

• 20 imágenes fueron calificadas como Sí por ambos.
• 15 imágenes fueron calificadas como No por ambos.
• En general, el calificador A dijo Sí a 25 imágenes y No a 25.
• En general, el calificador B dijo Sí a 30 imágenes y No a 20.

Calcular la kappa de Cohen para este conjunto de datos.

Paso 1: Calcular po (el acuerdo proporcional observado):
20 imágenes fueron calificadas Sí por ambos.
15 imágenes fueron calificadas como No por ambos.
Entonces,
Po = número de acuerdo / total = (20 + 15) / 50 = 0,70.

Paso 2: Encuentre la probabilidad de que los calificadores digan aleatoriamente ambos Sí.
El evaluador A dijo Sí a 25/50 imágenes, o el 50%(0,5).
El evaluador B dijo Sí a 30/50 imágenes, o el 60%(0,6).
La probabilidad total de que ambos evaluadores digan Sí al azar es:
0,5 * 0,6 = 0,30.

Paso 3: Calcule la probabilidad de que ambos calificadores digan No al azar.
El Calificador A dijo No a 25/50 imágenes, o el 50%(0,5).
El Calificador B dijo No a 20/50 imágenes, o el 40%(0,6).
La probabilidad total de que ambos calificadores digan No al azar es:
0,5 * 0,4 = 0,20.

Paso 4: Calcular Pe. Sume sus respuestas de los pasos 2 y 3 para obtener la probabilidad global de que los calificadores coincidan al azar.
Pe = 0,30 + 0,20 = 0,50.

Paso 5: Introduzca sus cálculos en la fórmula y resuelva:




k = (Po – pe) / (1 – pe = (0.70 – 0,50) / (1 – 0,50) = 0,40.

k = 0,40, lo que indica un acuerdo justo.

Beyer, W. H. CRC Standard Mathematical Tables, 31st ed. Boca Ratón, FL: CRC Press, pp. 536 y 571, 2002.
Agresti A. (1990) Categorical Data Analysis. John Wiley and Sons, Nueva York.
Kotz, S.; et al., eds. (2006), Encyclopedia of Statistical Sciences, Wiley.
Vogt, W.P. (2005). Dictionary of Statistics & Metodología: Una guía no técnica para las ciencias sociales. SAGE.

Cite esto como:
Stephanie Glen. «Cohen’s Kappa Statistic» De StatisticsHowTo.com: ¡Estadística elemental para el resto de nosotros! https://www.statisticshowto.com/cohens-kappa-statistic/

——————————————————————————

¿Necesitas ayuda con los deberes o con un examen? Con Chegg Study, puedes obtener soluciones paso a paso a tus preguntas de un experto en la materia. ¡Tus primeros 30 minutos con un tutor de Chegg son gratis!