Calculateur de kappa de Cohen et alpha de Krippendorff

Cela dépend de trois choses : le nombre de personnes codeuses, si toutes ont codé toutes les unités et si les catégories sont ordonnées. Avec deux personnes codeuses, des données complètes et des catégories sans ordre : kappa de Cohen. Avec trois personnes ou plus et des données complètes : kappa de Fleiss. S’il y a des cellules vides : alpha de Krippendorff, la seule des trois mesures qui n’écarte pas ces unités. Si les catégories sont ordonnées : la version pondérée du kappa ou l’alpha ordinal, car confondre « assez » avec « beaucoup » n’est pas la même chose que confondre « assez » avec « aucun ». Le calculateur applique cette règle seul et affiche quand même les autres mesures.

Non, et mieux vaut le dire clairement, car c’est la question la plus fréquente. Ces coefficients supposent deux personnes codeuses indépendantes. Si vous avez d’abord vu la proposition du modèle avant de décider, votre jugement n’est plus indépendant de cette proposition : le chiffre obtenu mesure ce que vous avez accepté, pas la concordance de deux jugements distincts. Ce que vous pouvez indiquer, c’est le taux de révision, c’est-à-dire la proportion de ce qui était proposé que vous avez modifié. Si vous voulez vraiment un coefficient, il existe un moyen : codez un échantillon à l’aveugle, sans voir la sortie du modèle, et ne comparez qu’ensuite. L’indépendance existe alors et la mesure retrouve un sens.

Oui, avec l’alpha de Krippendorff. Le kappa de Cohen et le kappa de Fleiss exigent que toutes les personnes codeuses aient codé toutes les unités ; ils écartent donc les unités incomplètes. L’alpha les conserve : il pondère chaque unité selon le nombre de codages reçus et n’écarte que celles qui n’ont qu’un seul codage, car avec une seule valeur il n’y a rien à comparer. Le calculateur indique combien d’unités chaque mesure a écartées.

Il n’existe pas de seuil fondé statistiquement. Le tableau que presque tout le monde cite est celui de Landis et Koch (1977), qui qualifie de « substantiel » l’intervalle de 0,61 à 0,80, mais ses auteurs ne l’ont pas appuyé sur des données : c’est une convention. Krippendorff propose un critère plus exigeant et mieux argumenté : 0,80 pour conclure et 0,667 comme plancher pour des résultats provisoires. De plus, la valeur dépend du nombre de catégories utilisées : avec peu de catégories, le même travail donne un chiffre plus élevé. Il vaut mieux indiquer le coefficient avec son intervalle et le nombre d’unités, et ne pas s’appuyer sur la seule étiquette.

Non. Tout le calcul se fait dans votre navigateur, sur votre ordinateur. La page n’envoie nulle part ce que vous collez, n’enregistre rien et fonctionne hors connexion une fois chargée. Vous pouvez le vérifier en ouvrant l’onglet Réseau des outils de développement de votre navigateur pendant le calcul : il n’y a aucune requête.

Les deux sont défendables et donnent des valeurs très proches. Ils diffèrent dans l’estimation de l’accord attendu par hasard : le kappa de Cohen utilise les marges de chaque personne codeuse séparément, et tolère donc qu’une personne emploie une catégorie bien plus souvent que l’autre ; l’alpha utilise une distribution commune et corrige selon la taille de l’échantillon. Si vous comparez avec des études antérieures, indiquez le coefficient qu’elles ont utilisé. Si vous devez en choisir un seul pour tout votre travail, l’alpha s’applique sans changement lorsque vous ajoutez une troisième personne codeuse ou que des cellules vides apparaissent.

Parce que le kappa dispose d’une formule fermée pour son erreur type, publiée par Fleiss, Cohen et Everitt en 1969, alors que l’alpha n’a pas d’équivalent fiable. Krippendorff recommande lui-même d’estimer l’intervalle par rééchantillonnage. Ici, on rééchantillonne les unités mille fois et on prend les centiles 2,5 et 97,5, comme le font les implémentations courantes. C’est pourquoi l’intervalle de l’alpha peut varier très légèrement entre deux calculs avec les mêmes données.