Cómo saber si dos codificadores coinciden: el kappa de Cohen en 5 pasos

Elige una muestra del material, por ejemplo 20 respuestas o entre un 10 y un 20 % de las unidades, y acuerda antes el libro de códigos: cada categoría con una definición breve y un ejemplo. Cada persona asigna una sola categoría por unidad, sin ver lo que puso la otra y sin discutir los casos dudosos hasta terminar.

Pasa las codificaciones a una planilla con tres columnas: el número de la unidad y la categoría que eligió cada codificador. Las categorías tienen que estar escritas exactamente igual en las dos columnas, mayúsculas incluidas: «Costo» y «costo» cuentan como dos categorías distintas. Una celda vacía es una unidad que ese codificador no codificó.

Cruza las dos columnas en una tabla de contingencia: las filas son lo que puso el codificador 1; las columnas, lo que puso el codificador 2. La diagonal son las coincidencias.

En el ejemplo coincidieron 6 veces en «acceso», 5 en «costo» y 5 en «trato»: 16 de 20. El acuerdo observado es p_o = 16/20 = 0,80.

Si cada uno hubiera repartido las categorías al azar, con la frecuencia con que usó cada una, igual habrían coincidido algunas veces. Ese acuerdo esperado se calcula por categoría, multiplicando la proporción del codificador 1 por la del codificador 2, y sumando. El codificador 1 usó 8, 6 y 6 veces cada categoría; el codificador 2, 7, 7 y 6:

p_e = (8/20 × 7/20) + (6/20 × 7/20) + (6/20 × 6/20) = 0,140 + 0,105 + 0,090 = 0,335

El kappa compara lo observado con lo esperado:

κ = (p_o − p_e) / (1 − p_e) = (0,80 − 0,335) / (1 − 0,335) = 0,699

Un kappa de 1 es acuerdo total; 0, el acuerdo que daría el azar; un valor negativo, menos que el azar.

Informa el kappa con su intervalo, la cantidad de unidades y de categorías y el acuerdo observado. La escala de Landis y Koch llama «considerable» a un valor entre 0,61 y 0,80, pero es una convención, no un umbral.

Mira también dónde se concentra el desacuerdo: si una categoría junta la mayoría, ajusta su definición y repite la medición con otra muestra. Con tres o más codificadores, o con celdas vacías, el kappa de Cohen no alcanza: se usan el kappa de Fleiss o el alfa de Krippendorff.