如何判断两位编码者是否一致：Cohen's Kappa 的 5 个步骤

从材料中选一个样本，例如 20 条回答，或全部单位的 10% 至 20%，并事先商定编码本：每个类别都有简短的定义和一个示例。每人为每个单位只分配一个类别，不看对方的结果，也不在完成之前讨论有疑问的情况。

把编码结果转入一个三列的电子表格：单位编号和每位编码者选择的类别。两列中的类别写法必须完全相同，包括大小写：“Cost”和“cost”会被算作两个不同的类别。空单元格表示该编码者没有编码这个单位。

把两列交叉整理成列联表：行是编码者 1 的选择，列是编码者 2 的选择。对角线上是一致的次数。

在这个示例中，两人在“access”上一致 6 次，在“cost”上一致 5 次，在“treatment”上一致 5 次，即 20 条中有 16 条一致。观察一致率为 p_o = 16/20 = 0.80。

即使每个人都按自己使用各类别的频率随机分配，也会有几次碰巧一致。这种期望一致率按类别计算：把编码者 1 的比例乘以编码者 2 的比例，再相加。编码者 1 使用各类别的次数为 8、6、6，编码者 2 为 7、7、6：

p_e = (8/20 × 7/20) + (6/20 × 7/20) + (6/20 × 6/20) = 0.140 + 0.105 + 0.090 = 0.335

Kappa 比较观察到的一致和期望的一致：

κ = (p_o − p_e) / (1 − p_e) = (0.80 − 0.335) / (1 − 0.335) = 0.699

Kappa 为 1 表示完全一致；为 0 表示一致程度与偶然相同；为负值表示低于偶然水平。

报告 Kappa 时要同时给出置信区间、单位和类别的数量以及观察一致率。Landis 和 Koch 的标准把 0.61 至 0.80 称为“高度一致”，但这只是惯例，并不是合格线。

还要看不一致集中在哪里：如果大部分集中在某一个类别，就调整它的定义，并用另一个样本重新测量。如果有三位及以上编码者，或存在空单元格，Cohen's Kappa 就不适用，应使用 Fleiss' Kappa 或 Krippendorff's Alpha。