Калькулятор каппы Коэна и альфы Криппендорфа
Вставьте таблицу кодирования и получите коэффициент, подходящий для ваших данных, с доверительным интервалом и таблицей, показывающей, на каких категориях сосредоточено расхождение.
- Каппа Коэна, взвешенная каппа, каппа Флейсса и альфа Криппендорфа
- Допускает пустые ячейки и любое число кодировщиков
- Расчёт идёт в вашем браузере: ничего не загружается
Рассчитываете впервые? Прочитайте: как измерить согласованность кодировщиков, шаг за шагом.
Ваши данные
Одна строка на закодированную единицу, один столбец на кодировщика. Скопируйте диапазон из таблицы и вставьте его сюда. Пустые ячейки считаются незакодированными.
Пока нечего рассчитывать.
Вставьте таблицу слева и нажмите «Рассчитать». Если хотите сначала посмотреть, как это работает, загрузите один из двух примеров.
Калькулятор выбирает меру, подходящую для ваших данных, и показывает также остальные, чтобы вы могли привести ту, которую от вас требуют.
Коэффициент определяют три вопроса
Сколько человек кодировали, всё ли они закодировали и есть ли у категорий порядок. Калькулятор применяет это правило сам, но полезно знать, почему он выбирает именно так.
| Ваши данные | Основная мера |
|---|---|
| Два кодировщика, все закодировали всё, категории без порядка | Каппа Коэна |
| Два кодировщика, упорядоченные категории | Взвешенная каппа, линейная или квадратичная |
| Три и более, все закодировали всё | Каппа Флейсса |
| Любое число, с пустыми ячейками | Альфа Криппендорфа |
Альфа подходит во всех четырёх случаях, поэтому она показывается всегда. Остальные три — её частные случаи: при полных данных они дают очень близкие значения. Разница появляется при пустых ячейках: каппа исключает всю единицу, а альфа сохраняет её, с весом по числу кодировщиков этой единицы.
Это не измеряет согласие между вами и моделью ИИ
Почему нет, даже если число получается то же
Все три коэффициента предполагают двух независимых кодировщиков. Поправка на случайность как раз и состоит в том, чтобы вычесть согласие, которое возникло бы, если бы каждый решал самостоятельно.
Когда ИИ предлагает результат кодирования, а вы его проверяете, этой независимости нет: вы видели предложение до того, как приняли решение. Полученное число измеряет, сколько вы приняли, а не насколько совпали два отдельных суждения. Высокое значение может означать, что модель закодировала хорошо или что вы проверяли невнимательно, и коэффициент этого не различает.
Сообщить можно долю исправлений: какую часть предложенного моделью вы в итоге изменили. Это честный показатель, он рассчитывается без допущений и точно описывает, что произошло.
А если вам нужен настоящий коэффициент, его можно получить: закодируйте выборку вслепую, не видя результата модели, и только потом сравните. Тогда два суждения независимы, и мера снова означает то, что должна измерять.
Границы — это условности, а не статистические пороги
Таблица, которую цитируют почти все, — таблица Лэндиса и Коха 1977 года. Она настолько распространена, что её стоит знать, но сами авторы не подкрепили её данными.
| Значение | Оценка по Лэндису и Коху |
|---|---|
| Меньше 0,00 | Хуже случайного |
| От 0,00 до 0,20 | Слабое |
| От 0,21 до 0,40 | Удовлетворительное |
| От 0,41 до 0,60 | Умеренное |
| От 0,61 до 0,80 | Существенное |
| От 0,81 до 1,00 | Почти полное |
Два предупреждения перед использованием. Первое: значение зависит от числа категорий в вашей кодовой книге, и при малом их числе та же работа даёт более высокое число, поэтому два исследования с разным числом кодов нельзя сравнивать по оценке. Второе: для контент-анализа Криппендорф предлагает более строгий и лучше обоснованный критерий — 0,80 для выводов и 0,667 как нижнюю границу для результатов, представленных как предварительные. Всегда указывайте коэффициент с интервалом и числом единиц.
Это зависит от трёх вещей: сколько кодировщиков, все ли они закодировали все единицы и есть ли у категорий порядок. Два кодировщика, полные данные и категории без порядка — каппа Коэна. Три и более и полные данные — каппа Флейсса. Если есть пустые ячейки — альфа Криппендорфа, единственная из трёх, которая не исключает такие единицы. Если категории упорядочены — взвешенная каппа или порядковая альфа, потому что смешать «довольно много» с «очень много» — не то же самое, что смешать «довольно много» с «нисколько». Калькулятор применяет это правило сам и всё равно показывает остальные меры.
Нет, и об этом стоит сказать ясно, потому что это самый частый вопрос. Эти коэффициенты предполагают двух независимых кодировщиков. Если вы сначала увидели предложение модели, а потом приняли решение, вы уже не независимы от него: полученное число измеряет, сколько вы приняли, а не насколько совпали два отдельных суждения. Сообщить можно долю исправлений, то есть какую часть предложенного вы изменили. Если вам действительно нужен коэффициент, его можно получить: закодируйте выборку вслепую, не видя результата модели, и только потом сравните. Тогда независимость есть, и мера снова что-то означает.
Да, с альфой Криппендорфа. Каппе Коэна и каппе Флейсса нужно, чтобы все кодировщики закодировали все единицы, поэтому неполные единицы они исключают. Альфа их сохраняет: она учитывает каждую единицу с весом по числу кодировщиков и не учитывает только единицы с одной результатом кодирования, потому что одно значение не с чем сравнивать. Калькулятор сообщает, сколько единиц исключила каждая мера.
Статистически обоснованной границы нет. Таблица, которую цитируют почти все, — таблица Лэндиса и Коха 1977 года, где диапазон от 0,61 до 0,80 назван «существенным», но авторы не подкрепили её данными: это условность. Криппендорф предлагает более строгий и обоснованный критерий — 0,80 для выводов и 0,667 как нижнюю границу для предварительных результатов. Кроме того, значение зависит от числа категорий: при малом их числе та же работа даёт более высокое число. Указывайте коэффициент с интервалом и числом единиц и не опирайтесь только на оценку.
Нет. Весь расчёт идёт в вашем браузере, на вашем компьютере. Страница никуда не отправляет то, что вы вставляете, ничего не сохраняет и после загрузки работает без подключения. Это можно проверить: откройте вкладку сети в инструментах браузера во время расчёта — запросов нет.
Оба варианта можно обосновать, и значения очень близки. Они различаются тем, как оценивают ожидаемое случайное согласие: каппа Коэна использует маргинальные распределения каждого кодировщика отдельно, поэтому допускает, что один применяет категорию намного чаще другого; альфа использует общее распределение и вводит поправку на объём выборки. Если вы будете сравнивать с прежними исследованиями, указывайте коэффициент, который использовали они. Если нужно выбрать один на всю работу, альфа применяется без изменений, когда позже добавится третий кодировщик или появятся пустые ячейки.
Потому что для стандартной ошибки каппы есть точная формула, опубликованная Флейссом, Коэном и Эвериттом в 1969 году, а надёжной аналогичной формулы для альфы нет. Сам Криппендорф рекомендует оценивать интервал бутстрэпом. Здесь единицы отбираются повторно тысячу раз и берутся перцентили 2,5 и 97,5, как в обычных реализациях. Поэтому интервал альфы может минимально меняться между двумя расчётами на одних и тех же данных.
Согласие измеряется на том, что вы закодировали
HILO собирает фрагменты каждой темы по всем вашим документам, с указанием страницы каждого, чтобы вы кодировали и редактировали их вместе.