Affidabilità tra codificatori: misurare l’accordo tra due persone che codificano con il kappa di Cohen, in 5 passi

Scegli un campione del materiale, per esempio 20 risposte o il 10-20% delle unità, e concorda prima il libro dei codici: ogni categoria con una breve definizione e un esempio. Ogni persona assegna una sola categoria per unità, senza vedere cosa ha scelto l’altra e senza discutere i casi dubbi finché non hanno finito entrambe.

Riporta le codifiche in un foglio di calcolo a tre colonne: il numero dell’unità e la categoria scelta da ciascuna persona. Le categorie devono essere scritte esattamente allo stesso modo nelle due colonne, maiuscole comprese: «Costo» e «costo» contano come due categorie diverse. Una cella vuota è un’unità che quella persona non ha codificato.

Incrocia le due colonne in una tabella di contingenza: le righe mostrano cosa ha scelto la persona 1; le colonne, cosa ha scelto la persona 2. La diagonale contiene gli accordi.

Nell’esempio hanno concordato 6 volte su «accesso», 5 su «costo» e 5 su «trattamento»: 16 su 20. L’accordo osservato è p_o = 16/20 = 0,80.

Se ciascuna persona avesse distribuito le categorie a caso, con la frequenza con cui ha usato ognuna, a volte avrebbero comunque concordato. Questo accordo atteso si calcola per categoria, moltiplicando la proporzione della persona 1 per quella della persona 2 e sommando. La persona 1 ha usato le categorie 8, 6 e 6 volte; la persona 2, 7, 7 e 6:

p_e = (8/20 × 7/20) + (6/20 × 7/20) + (6/20 × 6/20) = 0,140 + 0,105 + 0,090 = 0,335

Il kappa confronta l’osservato con l’atteso:

κ = (p_o − p_e) / (1 − p_e) = (0,80 − 0,335) / (1 − 0,335) = 0,699

Un kappa pari a 1 indica accordo totale; 0, l’accordo che darebbe il caso; un valore negativo, meno del caso.

Riporta il kappa con il suo intervallo, il numero di unità e di categorie e l’accordo osservato. La scala di Landis e Koch definisce «sostanziale» un valore tra 0,61 e 0,80, ma è una convenzione, non una soglia.

Guarda anche dove si concentra il disaccordo: se una categoria ne raccoglie la maggior parte, precisane la definizione e ripeti la misurazione con un altro campione. Con tre o più persone che codificano, o con celle vuote, il kappa di Cohen non basta: si usano il kappa di Fleiss o l’alfa di Krippendorff.