Calculadora de kappa de Cohen e alfa de Krippendorff

Depende de três coisas: quantos codificadores há, se todos codificaram todas as unidades e se as categorias têm uma ordem. Com dois codificadores, dados completos e categorias sem ordem, kappa de Cohen. Com três ou mais e dados completos, kappa de Fleiss. Se há células vazias, alfa de Krippendorff, que é o único dos três que não descarta essas unidades. Se as categorias são ordenadas, a versão ponderada do kappa ou o alfa ordinal, porque confundir «bastante» com «muito» não é o mesmo que confundir «bastante» com «nada». A calculadora aplica esta regra sozinha e mostra mesmo assim as outras medidas.

Não, e convém dizê-lo com clareza porque é a pergunta mais frequente. Estes coeficientes supõem dois codificadores independentes. Se você viu primeiro a proposta do modelo e depois decidiu, já não é independente dela: o número que sair mede quanto você aceitou, não quanto dois julgamentos separados coincidiram. O que você pode informar é a taxa de revisão, isto é, que proporção do proposto você mudou. Se você quer mesmo um coeficiente, há uma forma de obtê-lo: codifique uma amostra às cegas, sem ver a saída do modelo, e só depois compare. Aí a independência existe e a medida volta a significar algo.

Sim, com o alfa de Krippendorff. O kappa de Cohen e o kappa de Fleiss precisam que todos os codificadores tenham codificado todas as unidades, então descartam as unidades incompletas. O alfa as conserva: pondera cada unidade segundo quantos a codificaram, e só deixa de fora as que têm uma única codificação, porque com um valor único não há nada para comparar. A calculadora diz quantas unidades cada medida descartou.

Não há um corte com fundamento estatístico. A tabela que quase todos citam é a de Landis e Koch de 1977, que chama de «substancial» o trecho de 0,61 a 0,80, mas seus autores não a respaldaram com evidência: é uma convenção. Krippendorff propõe um critério mais exigente e mais argumentado, 0,80 para concluir e 0,667 como piso para resultados provisórios. Além disso, o valor depende de quantas categorias você use: com poucas categorias o mesmo trabalho dá um número mais alto. Convém informar o coeficiente com o seu intervalo e a quantidade de unidades, e não se apoiar apenas no rótulo.

Não. Todo o cálculo acontece no seu navegador, no seu computador. A página não envia o que você cola a lugar nenhum, não guarda nada e funciona sem conexão depois de carregada. Você pode conferir abrindo a aba de rede das ferramentas do navegador enquanto calcula: não há nenhuma requisição.

Os dois são defensáveis e dão valores muito parecidos. Diferem em como estimam a concordância esperada pelo acaso: o kappa de Cohen usa as marginais de cada codificador separadamente, então tolera que um use uma categoria muito mais que o outro; o alfa usa uma distribuição comum e corrige pelo tamanho da amostra. Se você vai comparar com estudos anteriores, informe o coeficiente que eles usaram. Se precisa escolher um só para todo o seu trabalho, o alfa se aplica sem mudanças quando depois você somar um terceiro codificador ou aparecerem células vazias.

Porque o kappa tem uma fórmula fechada para o seu erro padrão, publicada por Fleiss, Cohen e Everitt em 1969, e o alfa não tem uma equivalente que seja confiável. O próprio Krippendorff recomenda estimar o intervalo por reamostragem. Aqui isso é feito reamostrando as unidades mil vezes e tomando os percentis 2,5 e 97,5, que é o que fazem as implementações habituais. Por isso o intervalo do alfa pode mudar de maneira mínima entre dois cálculos com os mesmos dados.