Cohen’s Kappa Statistic

p>Definições Estatísticas > Estatística Kappa de Cohen

O que é a Estatística Kappa de Cohen?

A estatística Kappa de Cohen mede a fiabilidade entre observadores (por vezes chamada acordo interobservador). A fiabilidade ou precisão intra-operador acontece quando os seus avaliadores de dados (ou colectores) dão a mesma pontuação ao mesmo item de dados.

Esta estatística só deve ser calculada quando:

• Dois avaliadores avaliam cada um um ensaio em cada amostra, ou.
• Um avaliador avalia dois ensaios em cada amostra.

Além disso, a Kappa de Cohen tem a suposição de que os avaliadores são deliberadamente escolhidos. Se os seus avaliadores forem escolhidos aleatoriamente a partir de uma população de avaliadores, utilize a Kappa de Fleiss.

Histórico, foi utilizada uma concordância percentual (número de pontuações de concordância / pontuação total) para determinar a fiabilidade entre avaliadores. No entanto, a concordância casual devido à adivinhação dos avaliadores é sempre uma possibilidade – da mesma forma que uma resposta casual “correcta” é possível num teste de escolha múltipla. A estatística Kappa tem em conta este elemento de acaso.

A estatística Kappa varia de 0 a 1, onde.

• 0 = acordo equivalente ao acaso.
• 0.1 – 0.20 = ligeiro acordo.
• 0,21 – 0,40 = acordo justo.
• 0,41 – 0,60 = acordo moderado.
• 0,61 – 0,80 = acordo substancial.
• 0,81 – 0,99 = acordo quase perfeito
• 1 = acordo perfeito.

Notem que estas directrizes podem ser insuficientes para investigação e testes relacionados com a saúde. Itens como leituras de radiografias e resultados de exames são frequentemente julgados subjectivamente. Embora a concordância entre os examinadores de 0,4 possa ser boa para um inquérito geral, é geralmente demasiado baixa para algo como um rastreio do cancro. Como tal, geralmente deseja-se um nível mais elevado de fiabilidade aceitável entre avaliadores quando se trata de saúde.

Exemplo de cálculo

O software de estatística tem a capacidade de calcular k. Para conjuntos de dados simples (ou seja, dois avaliadores, dois itens) calcular k à mão é bastante simples. Para conjuntos de dados maiores, é provável que queira usar software como SPSS.

A seguinte fórmula é usada para o acordo entre dois avaliadores. Se tiver mais de dois avaliadores, terá de utilizar uma variação da fórmula. Por exemplo, em SAS o procedimento para Kappa é PROC FREQ, enquanto que será necessário utilizar o macro MAGREE SAS para múltiplos avaliadores.

A fórmula para calcular a kappa de Cohen para dois avaliadores é:
br>onde:
Po = a concordância relativa observada entre os avaliadores.
Pe = a probabilidade hipotética de concordância do acaso

Questão de exemplo: Os seguintes dados hipotéticos provêm de um teste médico em que dois radiologistas classificaram 50 imagens por necessitarem de mais estudo. Os investigadores (A e B) disseram Sim (para estudo adicional) ou Não (não é necessário estudo adicional).

• 20 imagens foram avaliadas Sim por ambos.
• 15 imagens foram avaliadas Não por ambos.
• Overall, o avaliador A disse Sim a 25 imagens e Não a 25.
• Overall, o avaliador B disse Sim a 30 imagens e Não a 20.

Calcular a kappa de Cohen para este conjunto de dados.

P>Passo 1: Calcular po (o acordo proporcional observado):
20 imagens foram avaliadas Sim por ambos.
15 imagens foram classificadas como Não por ambos.
So,
Po = número em concordância / total = (20 + 15) / 50 = 0.70.

Passo 2: Encontrar a probabilidade de os avaliadores dizerem aleatoriamente Sim.
Rater A disse Sim a 25/50 imagens, ou 50%(0,5).
Rater B disse Sim a 30/50 imagens, ou 60%(0,6).
A probabilidade total dos avaliadores ambos dizendo Sim aleatoriamente é:
0,5 * 0,6 = 0,30.

P>Passo 3: Calcular a probabilidade de ambos os avaliadores dizerem Aleatoriamente Não.
Rater A disse Não a 25/50 imagens, ou 50%(0,5).
Rater B disse Não a 20/50 imagens, ou 40%(0,6).
A probabilidade total dos avaliadores ambos dizerem Não aleatoriamente é:
0,5 * 0,4 = 0,20.

P>Passo 4: Calcular a Pe. Adicione as suas respostas dos passos 2 e 3 para obter a probabilidade total de os avaliadores concordarem aleatoriamente.
Pe = 0,30 + 0,20 = 0,50.

Passo 5: Insira os seus cálculos na fórmula e resolva:

k = (Po – pe) / (1 – pe = (0.70 – 0,50) / (1 – 0,50) = 0,40.

k = 0,40, o que indica um acordo justo.

Beyer, W. H. CRC Standard Mathematical Tables, 31st ed. Boca Raton, FL: CRC Press, pp. 536 e 571, 2002.
Agresti A. (1990) Análise de Dados Categóricos. John Wiley and Sons, New York.
Kotz, S.; et al., eds. (2006), Encyclopedia of Statistical Sciences, Wiley.
Vogt, W.P. (2005). Dicionário de Estatística & Metodologia: Um Guia Não Técnico para as Ciências Sociais. SAGE.

——————————————————————————
p>Need help with a homework or test question? Com o Chegg Study, pode obter soluções passo a passo para as suas perguntas de um especialista na matéria. Os seus primeiros 30 minutos com um tutor do Chegg são gratuitos!