Como saber se dois codificadores concordam: o kappa de Cohen em 5 passos
Codificar separadamente a mesma amostra
Escolha uma amostra do material, por exemplo 20 respostas ou de 10 a 20% das unidades, e combine antes o livro de códigos: cada categoria com uma definição curta e um exemplo. Cada pessoa atribui uma única categoria por unidade, sem ver o que a outra escolheu e sem discutir os casos duvidosos até terminar.
Montar a tabela: uma linha por unidade, uma coluna por codificador
Passe as codificações para uma planilha com três colunas: o número da unidade e a categoria que cada codificador escolheu. As categorias precisam estar escritas exatamente igual nas duas colunas, inclusive as maiúsculas: “Custo” e “custo” contam como duas categorias diferentes. Uma célula vazia é uma unidade que aquele codificador não codificou.
Contar a concordância observada
Cruze as duas colunas numa tabela de contingência: as linhas são o que o codificador 1 escolheu; as colunas, o que o codificador 2 escolheu. A diagonal são as coincidências.
No exemplo, eles coincidiram 6 vezes em “acesso”, 5 em “custo” e 5 em “atendimento”: 16 de 20. A concordância observada é po = 16/20 = 0,80.
Descontar a concordância esperada pelo acaso
Se cada um tivesse distribuído as categorias ao acaso, na frequência com que usou cada uma, ainda assim teriam coincidido algumas vezes. Essa concordância esperada é calculada por categoria, multiplicando a proporção do codificador 1 pela do codificador 2, e somando. O codificador 1 usou as categorias 8, 6 e 6 vezes; o codificador 2, 7, 7 e 6:
pe = (8/20 × 7/20) + (6/20 × 7/20) + (6/20 × 6/20) = 0,140 + 0,105 + 0,090 = 0,335
O kappa compara o observado com o esperado:
κ = (po − pe) / (1 − pe) = (0,80 − 0,335) / (1 − 0,335) = 0,699
Um kappa de 1 é concordância total; 0, a que o acaso produziria; um valor negativo, menos que o acaso.
Interpretar o resultado e relatá-lo
Relate o kappa com o intervalo, o número de unidades e de categorias e a concordância observada. A escala de Landis e Koch chama de “substancial” um valor entre 0,61 e 0,80, mas é uma convenção, não um limiar.
Veja também onde se concentra a discordância: se uma categoria reúne a maior parte, ajuste a definição dela e repita a medição com outra amostra. Com três ou mais codificadores, ou com células vazias, o kappa de Cohen não basta: usam-se o kappa de Fleiss ou o alfa de Krippendorff.
Outras formas de fazer
Há outras formas de calcular: com SPSS ou R, ou numa planilha com as fórmulas do passo 4.
A calculadora do HILO é vantagem quando você quer o resultado rápido e sem instalar nada: funciona no navegador, é grátis, não pede cadastro e os dados não são enviados a nenhum servidor. Além disso, escolhe a medida de acordo com os seus dados e redige o parágrafo para o relatório. Outra ferramenta é melhor se o cálculo precisa ficar num script reprodutível junto com o resto da análise, se muitos codificadores trabalham com um desenho complexo ou se você precisa de medidas que a calculadora não oferece.
Calcule o kappa com os seus próprios dados
Cole a sua tabela na calculadora e obtenha o coeficiente, o intervalo e o parágrafo para o relatório.
Referência
- Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.
Atualizada em
Outras guias
Como compartilhar uma base de dados sem expor dados pessoais
Inventário das colunas, o que fazer com cada uma, texto livre, risco de reidentificação e tabela de códigos, em 5 passos.
Como limpar uma base de dados de pesquisa antes de analisá-la
Ler bem o arquivo, buscar repetidos, revisar colunas, detectar códigos de não resposta e corrigir na origem, em 5 passos.
Como unir duas bases de dados de uma pesquisa
Escolher entre empilhar e cruzar por identificador, conferir que medem o mesmo, unir e revisar o resultado, em 5 passos.
Como codificar as respostas abertas de uma pesquisa
Ler uma amostra, montar as categorias, atribuir cada resposta, revisar e levá-las para a sua base, em 5 passos.
Como operacionalizar os objetivos de um projeto com as suas variáveis
Escrever os objetivos, fazer o inventário das variáveis, cruzá-los, definir indicadores e reconhecer o que falta, em 5 passos.