Stimmen zwei Codierende überein? Intercoder-Reliabilität mit Cohens Kappa in 5 Schritten

Wählen Sie eine Stichprobe des Materials, zum Beispiel 20 Antworten oder 10 bis 20 % der Einheiten, und einigen Sie sich vorab auf das Codebuch: jede Kategorie mit einer kurzen Definition und einem Beispiel. Jede Person vergibt pro Einheit genau eine Kategorie, ohne zu sehen, was die andere gewählt hat, und ohne Zweifelsfälle zu besprechen, bevor beide fertig sind.

Übertragen Sie die Codierungen in eine Tabelle mit drei Spalten: die Nummer der Einheit und die Kategorie, die jede codierende Person gewählt hat. Die Kategorien müssen in beiden Spalten exakt gleich geschrieben sein, Groß- und Kleinschreibung eingeschlossen: „Kosten“ und „kosten“ zählen als zwei verschiedene Kategorien. Eine leere Zelle ist eine Einheit, die diese Person nicht codiert hat.

Kreuzen Sie die beiden Spalten in einer Kontingenztabelle: Die Zeilen zeigen, was Person 1 gewählt hat, die Spalten, was Person 2 gewählt hat. Die Diagonale sind die Übereinstimmungen.

Im Beispiel stimmten sie 6-mal bei „Zugang“, 5-mal bei „Kosten“ und 5-mal bei „Behandlung“ überein: 16 von 20. Die beobachtete Übereinstimmung ist p_o = 16/20 = 0,80.

Hätte jede Person die Kategorien zufällig vergeben, in der Häufigkeit, mit der sie jede benutzt hat, hätten sie trotzdem manchmal übereingestimmt. Diese erwartete Übereinstimmung wird je Kategorie berechnet, indem man den Anteil von Person 1 mit dem von Person 2 multipliziert und die Ergebnisse addiert. Person 1 hat die Kategorien 8-, 6- und 6-mal verwendet, Person 2 7-, 7- und 6-mal:

p_e = (8/20 × 7/20) + (6/20 × 7/20) + (6/20 × 6/20) = 0,140 + 0,105 + 0,090 = 0,335

Kappa vergleicht das Beobachtete mit dem Erwarteten:

κ = (p_o − p_e) / (1 − p_e) = (0,80 − 0,335) / (1 − 0,335) = 0,699

Ein Kappa von 1 bedeutet völlige Übereinstimmung; 0 die Übereinstimmung, die der Zufall ergäbe; ein negativer Wert weniger als der Zufall.

Berichten Sie Kappa mit seinem Intervall, der Anzahl der Einheiten und Kategorien und der beobachteten Übereinstimmung. Die Skala von Landis und Koch nennt einen Wert zwischen 0,61 und 0,80 „substanziell“, aber das ist eine Konvention, keine Schwelle.

Schauen Sie auch, wo sich die Uneinigkeit konzentriert: Sammelt eine Kategorie den größten Teil, schärfen Sie ihre Definition nach und wiederholen Sie die Messung mit einer neuen Stichprobe. Bei drei oder mehr Codierenden oder bei leeren Zellen reicht Cohens Kappa nicht: Verwenden Sie Fleiss’ Kappa oder Krippendorffs Alpha.