Как узнать, совпадают ли оценки двух кодировщиков: каппа Коэна за 5 шагов

Выберите часть материала, например 20 ответов или от 10 до 20 % единиц, и заранее согласуйте кодовую книгу: у каждой категории краткое определение и пример. Каждый кодировщик присваивает единице только одну категорию, не видя выбора другого и не обсуждая спорные случаи до конца работы.

Перенесите результаты кодирования в таблицу с тремя столбцами: номер единицы и категория, выбранная каждым кодировщиком. Категории в обоих столбцах должны быть написаны абсолютно одинаково, включая регистр: «Стоимость» и «стоимость» считаются двумя разными категориями. Пустая ячейка — единица, которую этот кодировщик не закодировал.

Сопоставьте два столбца в таблице сопряжённости: строки — выбор кодировщика 1, столбцы — выбор кодировщика 2. На диагонали находятся совпадения.

В примере они совпали 6 раз по «доступу», 5 по «стоимости» и 5 по «отношению»: 16 из 20. Наблюдаемое согласие p_o = 16/20 = 0,80.

Если бы каждый распределял категории случайно, с той же частотой, с какой использовал каждую, они всё равно иногда совпадали бы. Это ожидаемое согласие рассчитывается по каждой категории: доля кодировщика 1 умножается на долю кодировщика 2, и результаты суммируются. Кодировщик 1 использовал категории 8, 6 и 6 раз; кодировщик 2 — 7, 7 и 6:

p_e = (8/20 × 7/20) + (6/20 × 7/20) + (6/20 × 6/20) = 0,140 + 0,105 + 0,090 = 0,335

Каппа сравнивает наблюдаемое с ожидаемым:

κ = (p_o − p_e) / (1 − p_e) = (0,80 − 0,335) / (1 − 0,335) = 0,699

Каппа, равная 1, означает полное согласие; 0 — согласие на уровне случайного; отрицательное значение — меньше случайного.

Указывайте каппу с интервалом, число единиц и категорий и наблюдаемое согласие. Шкала Лэндиса и Коха называет «существенным» значение от 0,61 до 0,80, но это условность, а не порог.

Посмотрите также, где сосредоточены расхождения: если большинство приходится на одну категорию, уточните её определение и повторите измерение на другой выборке. При трёх и более кодировщиках или пустых ячейках каппы Коэна недостаточно: используются каппа Флейсса или альфа Криппендорфа.