Calculadora de kappa de Cohen y alfa de Krippendorff

Depende de tres cosas: cuántos codificadores hay, si todos codificaron todas las unidades y si las categorías tienen un orden. Con dos codificadores, datos completos y categorías sin orden, kappa de Cohen. Con tres o más y datos completos, kappa de Fleiss. Si hay casillas vacías, alfa de Krippendorff, que es la única de las tres que no descarta esas unidades. Si las categorías están ordenadas, la versión ponderada de kappa o el alfa ordinal, porque confundir «bastante» con «mucho» no es lo mismo que confundir «bastante» con «nada». La calculadora aplica esta regla sola y muestra igual las demás medidas.

No, y conviene decirlo con claridad porque es la pregunta más frecuente. Estos coeficientes suponen dos codificadores independientes. Si viste primero la propuesta del modelo y después decidiste, ya no eres independiente de ella: el número que salga mide cuánto aceptaste, no cuánto coincidieron dos juicios separados. Lo que sí puedes informar es la tasa de revisión, es decir qué proporción de lo propuesto cambiaste. Si de verdad quieres un coeficiente, hay una forma de obtenerlo: codifica una muestra a ciegas, sin ver la salida del modelo, y recién después compara. Ahí la independencia existe y la medida vuelve a significar algo.

Sí, con alfa de Krippendorff. Kappa de Cohen y kappa de Fleiss necesitan que todos los codificadores hayan codificado todas las unidades, así que descartan las unidades incompletas. Alfa las conserva: pondera cada unidad según cuántos la codificaron, y solo deja afuera las que tienen una sola codificación, porque con un valor único no hay nada que comparar. La calculadora te dice cuántas unidades descartó cada medida.

No hay un corte con fundamento estadístico. La tabla que casi todos citan es la de Landis y Koch de 1977, que llama «considerable» al tramo de 0,61 a 0,80, pero sus autores no la respaldaron con evidencia: es una convención. Krippendorff propone un criterio más exigente y más argumentado, 0,80 para concluir y 0,667 como piso para resultados provisorios. Además el valor depende de cuántas categorías uses: con pocas categorías el mismo trabajo da un número más alto. Conviene informar el coeficiente con su intervalo y la cantidad de unidades, y no apoyarse solo en la etiqueta.

No. Todo el cálculo ocurre en tu navegador, en tu computadora. La página no envía lo que pegas a ningún lado, no guarda nada y funciona sin conexión una vez cargada. Puedes comprobarlo abriendo la pestaña de red de las herramientas del navegador mientras calculas: no hay ninguna petición.

Los dos son defendibles y dan valores muy parecidos. Se diferencian en cómo estiman el acuerdo esperado por azar: kappa de Cohen usa las marginales de cada codificador por separado, así que tolera que uno use una categoría mucho más que el otro; alfa usa una distribución común y corrige por el tamaño de la muestra. Si vas a comparar contra estudios previos, informa el coeficiente que ellos usaron. Si tienes que elegir uno solo para todo tu trabajo, alfa se aplica sin cambios cuando después sumes un tercer codificador o aparezcan casillas vacías.

Porque kappa tiene una fórmula cerrada para su error estándar, publicada por Fleiss, Cohen y Everitt en 1969, y alfa no tiene una equivalente que sea confiable. El propio Krippendorff recomienda estimar el intervalo por remuestreo. Acá se hace remuestreando las unidades mil veces y tomando los percentiles 2,5 y 97,5, que es lo que hacen las implementaciones habituales. Por eso el intervalo del alfa puede cambiar de manera mínima entre dos cálculos con los mismos datos.