Calcolatore del kappa di Cohen e alfa di Krippendorff

Dipende da tre cose: quante persone codificano, se tutte hanno codificato tutte le unità e se le categorie hanno un ordine. Con due persone, dati completi e categorie senza ordine: kappa di Cohen. Con tre o più e dati completi: kappa di Fleiss. Se ci sono celle vuote: alfa di Krippendorff, l’unica delle tre misure che non scarta quelle unità. Se le categorie sono ordinate: la versione ponderata del kappa o l’alfa ordinale, perché scambiare «abbastanza» con «molto» non è lo stesso che scambiare «abbastanza» con «nessuno». Il calcolatore applica questa regola da solo e mostra comunque le altre misure.

No, ed è meglio dirlo chiaramente perché è la domanda più frequente. Questi coefficienti presuppongono due persone che codificano in modo indipendente. Se hai visto prima la proposta del modello e poi hai deciso, il tuo giudizio non è più indipendente da essa: il numero che ne esce misura quanto hai accettato, non quanto due giudizi separati coincidano. Ciò che puoi riportare è il tasso di revisione, cioè la quota di ciò che era stato proposto che hai modificato. Se vuoi davvero un coefficiente, c’è un modo per ottenerlo: codifica un campione alla cieca, senza vedere l’output del modello, e confronta solo dopo. In quel caso l’indipendenza esiste e la misura torna ad avere un significato.

Sì, con l’alfa di Krippendorff. Il kappa di Cohen e il kappa di Fleiss richiedono che tutte le persone abbiano codificato tutte le unità, quindi scartano le unità incomplete. L’alfa le conserva: pondera ogni unità in base a quante persone l’hanno codificata e lascia fuori solo quelle con una sola codifica, perché con un valore unico non c’è nulla da confrontare. Il calcolatore ti dice quante unità ha scartato ciascuna misura.

Non esiste una soglia con fondamento statistico. La tabella che quasi tutti citano è quella di Landis e Koch del 1977, che definisce «sostanziale» l’intervallo da 0,61 a 0,80, ma i suoi autori non l’hanno sostenuta con dati: è una convenzione. Krippendorff propone un criterio più esigente e meglio argomentato: 0,80 per concludere e 0,667 come soglia minima per risultati provvisori. Inoltre il valore dipende da quante categorie usi: con poche categorie lo stesso lavoro dà un numero più alto. Conviene riportare il coefficiente con il suo intervallo e il numero di unità, senza affidarsi alla sola etichetta.

No. Tutto il calcolo avviene nel tuo browser, sul tuo computer. La pagina non invia da nessuna parte ciò che incolli, non salva nulla e funziona anche offline una volta caricata. Puoi verificarlo aprendo la scheda Rete degli strumenti per sviluppatori del browser durante il calcolo: non c’è nessuna richiesta.

Sono entrambi difendibili e danno valori molto simili. Si distinguono per come stimano l’accordo atteso per caso: il kappa di Cohen usa le marginali di ciascuna persona separatamente, e quindi tollera che una usi una categoria molto più dell’altra; l’alfa usa una distribuzione comune e corregge in base alla dimensione del campione. Se confronti i tuoi dati con studi precedenti, riporta il coefficiente che hanno usato. Se devi sceglierne uno solo per tutto il lavoro, l’alfa si applica senza modifiche quando aggiungi una terza persona o compaiono celle vuote.

Perché il kappa ha una formula chiusa per il suo errore standard, pubblicata da Fleiss, Cohen ed Everitt nel 1969, mentre l’alfa non ne ha una equivalente affidabile. Lo stesso Krippendorff raccomanda di stimare l’intervallo per ricampionamento. Qui si ricampionano le unità mille volte e si prendono i percentili 2,5 e 97,5, come fanno le implementazioni più diffuse. Per questo l’intervallo dell’alfa può variare in modo minimo tra due calcoli con gli stessi dati.