Cohen’s Kappa Statistiek

Statistiekdefinities > Cohen’s Kappa Statistiek

Wat is Cohen’s Kappa Statistiek?

De Cohen’s kappa statistiek meet de interbeoordelaarsbetrouwbaarheid (ook wel interobserver agreement genoemd). Er is sprake van interraterbetrouwbaarheid, of precisie, wanneer uw gegevensbeoordelaars (of -verzamelaars) dezelfde score geven aan hetzelfde gegevensitem.

Deze statistiek moet alleen worden berekend wanneer:

• Twee beoordelaars beoordelen elk één proef van elke steekproef, of.
• Eén beoordelaar beoordeelt twee proeven van elke steekproef.

Daarnaast heeft Cohen’s Kappa de aanname dat de beoordelaars opzettelijk zijn gekozen. Als uw beoordelaars willekeurig worden gekozen uit een populatie van beoordelaars, gebruik dan Fleiss’ kappa.

Historisch werd procentuele overeenstemming (aantal akkoordscores/totaalscores) gebruikt om de interbeoordelaarsbetrouwbaarheid te bepalen. Toevallige overeenstemming door giswerk van beoordelaars is echter altijd mogelijk – net zoals een toevallig “goed” antwoord mogelijk is bij een meerkeuzetoets. De Kappa statistiek houdt rekening met dit element van toeval.

De Kappa statistiek varieert van 0 tot 1, waarbij.

• 0 = overeenstemming gelijk aan toeval.
• 0.1 – 0.20 = geringe overeenstemming.
• 0.21 – 0.40 = redelijke overeenstemming.
• 0.41 – 0.60 = matige overeenstemming.
• 0.61 – 0.80 = substantiële overeenstemming.
• 0.81 – 0.99 = bijna perfecte overeenstemming
• 1 = perfecte overeenstemming.

Merk op dat deze richtlijnen onvoldoende kunnen zijn voor gezondheidsgerelateerd onderzoek en tests. Zaken als röntgenaflezingen en onderzoeksbevindingen worden vaak subjectief beoordeeld. Terwijl een interbeoordelaarsovereenstemming van .4 OK kan zijn voor een algemeen onderzoek, is het over het algemeen te laag voor iets als een kankerscreening. Als zodanig wilt u over het algemeen een hoger niveau voor acceptabele interbeoordelaarsbetrouwbaarheid als het gaat om gezondheid.

Berekeningsvoorbeeld

De meeste statistische software heeft de mogelijkheid om k te berekenen. Voor eenvoudige datasets (d.w.z. twee beoordelaars, twee items) is het vrij eenvoudig om k met de hand te berekenen. Voor grotere datasets zult u waarschijnlijk software als SPSS willen gebruiken.

De volgende formule wordt gebruikt voor overeenstemming tussen twee beoordelaars. Als u meer dan twee beoordelaars hebt, moet u een andere formule gebruiken. In SAS is de procedure voor Kappa bijvoorbeeld PROC FREQ, terwijl u voor meerdere beoordelaars de SAS-macro MAGREE moet gebruiken.

De formule om Cohen’s kappa voor twee beoordelaars te berekenen is:

waarbij:
Po = de relatieve waargenomen overeenstemming tussen beoordelaars.
Pe = de hypothetische waarschijnlijkheid van toevallige overeenstemming

Voorbeeldvraag: De volgende hypothetische gegevens zijn afkomstig van een medische test waarbij twee radiografen 50 beelden beoordeelden voor verder onderzoek. De onderzoekers (A en B) zeiden ofwel Ja (verder te bestuderen) of Nee (geen verder onderzoek nodig).

• 20 beelden werden door beiden met Ja beoordeeld.
• 15 beelden werden door beiden met Nee beoordeeld.
• Over het geheel genomen zei beoordelaar A Ja tegen 25 beelden en Nee tegen 25.
• Over het geheel genomen zei beoordelaar B Ja tegen 30 beelden en Nee tegen 20.

Bereken Cohen’s kappa voor deze gegevensverzameling.

Stap 1: Bereken po (de waargenomen proportionele overeenkomst):
20 afbeeldingen werden door beiden met Ja beoordeeld.
15 afbeeldingen werden door beiden met Nee beoordeeld.
Dus,
Po = aantal in overeenstemming / totaal = (20 + 15) / 50 = 0.70.

Stap 2: Bereken de waarschijnlijkheid dat de beoordelaars willekeurig beiden Ja zouden zeggen.
Ratter A zei Ja tegen 25/50 afbeeldingen, of 50%(0.5).
Rater B zei Ja tegen 30/50 afbeeldingen, of 60%(0.6).
De totale waarschijnlijkheid dat de beoordelaars beiden willekeurig Ja zeggen is:
0.5 * 0.6 = 0.30.

Stap 3: Bereken de kans dat de beoordelaars beiden willekeurig Nee zeggen.
Rater A zei Nee tegen 25/50 afbeeldingen, of 50%(0.5).
Rater B zei Nee tegen 20/50 afbeeldingen, of 40%(0.6).
De totale kans dat de beoordelaars beiden willekeurig Nee zeggen is:
0.5 * 0.4 = 0.20.

Step 4: Bereken Pe. Tel je antwoorden van Stap 2 en 3 bij elkaar op om de totale kans te krijgen dat de beoordelaars het willekeurig met elkaar eens zijn.
Pe = 0.30 + 0.20 = 0.50.

Step 5: Voeg je berekeningen in de formule en los op:

k = (Po – pe) / (1 – pe = (0.70 – 0,50) / (1 – 0,50) = 0,40.

k = 0,40, wat duidt op een redelijke overeenstemming.

Beyer, W. H. CRC Standard Mathematical Tables, 31st ed. Boca Raton, FL: CRC Press, pp. 536 en 571, 2002.
Agresti A. (1990) Categorical Data Analysis. John Wiley and Sons, New York.
Kotz, S.; et al., eds. (2006), Encyclopedia of Statistical Sciences, Wiley.
Vogt, W.P. (2005). Dictionary of Statistics & Methodologie: A Nontechnical Guide for the Social Sciences. SAGE.

——————————————————————————

Heb je hulp nodig bij een huiswerk- of toetsvraag? Met Chegg Study kunt u stap-voor-stap oplossingen voor uw vragen krijgen van een expert op dit gebied. Uw eerste 30 minuten met een Chegg-leraar zijn gratis!