Fiabilité inter-codeurs : mesurer l’accord entre deux personnes codeuses avec le kappa de Cohen, en 5 étapes

Choisissez un échantillon du matériel, par exemple 20 réponses ou 10 à 20 % des unités, et convenez d’abord du livre de codes : chaque catégorie avec une courte définition et un exemple. Chaque personne attribue une seule catégorie par unité, sans voir ce que l’autre a choisi et sans discuter des cas douteux avant d’avoir terminé.

Reportez les codages dans un tableur à trois colonnes : le numéro de l’unité et la catégorie choisie par chaque personne codeuse. Les catégories doivent être écrites exactement de la même façon dans les deux colonnes, majuscules comprises : « Coût » et « coût » comptent comme deux catégories différentes. Une cellule vide est une unité que cette personne n’a pas codée.

Croisez les deux colonnes dans un tableau de contingence : les lignes montrent ce que la personne 1 a choisi ; les colonnes, ce que la personne 2 a choisi. La diagonale correspond aux accords.

Dans l’exemple, elles ont été d’accord 6 fois sur « accès », 5 sur « coût » et 5 sur « traitement » : 16 sur 20. L’accord observé est p_o = 16/20 = 0,80.

Si chaque personne avait réparti les catégories au hasard, selon la fréquence avec laquelle elle a utilisé chacune, elles seraient quand même tombées d’accord de temps en temps. Cet accord attendu se calcule par catégorie, en multipliant la proportion de la personne 1 par celle de la personne 2, puis en additionnant. La personne 1 a utilisé les catégories 8, 6 et 6 fois ; la personne 2, 7, 7 et 6 fois :

p_e = (8/20 × 7/20) + (6/20 × 7/20) + (6/20 × 6/20) = 0,140 + 0,105 + 0,090 = 0,335

Le kappa compare l’observé à l’attendu :

κ = (p_o − p_e) / (1 − p_e) = (0,80 − 0,335) / (1 − 0,335) = 0,699

Un kappa de 1 signifie un accord total ; 0, l’accord que donnerait le hasard ; une valeur négative, moins que le hasard.

Rapportez le kappa avec son intervalle, le nombre d’unités et de catégories et l’accord observé. L’échelle de Landis et Koch qualifie de « substantielle » une valeur comprise entre 0,61 et 0,80, mais c’est une convention, pas un seuil.

Regardez aussi où se concentre le désaccord : si une catégorie en réunit la majeure partie, précisez sa définition et refaites la mesure avec un autre échantillon. Avec trois personnes codeuses ou plus, ou avec des cellules vides, le kappa de Cohen ne suffit pas : on utilise le kappa de Fleiss ou l’alpha de Krippendorff.