Cohen's Kappa 与 Krippendorff's Alpha 计算器
粘贴你的编码表格，即可得到适合你数据的系数及其置信区间，还有一张表格显示分歧集中在哪些类别。
- Cohen's Kappa、加权 Kappa、Fleiss' Kappa 和 Krippendorff's Alpha
- 允许空单元格，编码者人数不限
- 在你的浏览器中计算：不上传任何内容
你的数据
每个编码单位一行，每位编码者一列。从电子表格中复制数据区域并粘贴到这里。空单元格视为“未编码”。
还没有可计算的内容。
把表格粘贴到左侧，然后点击“计算”。如果想先看看效果，可以加载两个示例中的一个。
计算器会选出适合你数据的指标，同时也显示其他指标，方便你按要求报告其中任何一个。
三个问题决定用哪个系数
有几人编码、是否每人都编码了全部单位、类别是否有顺序。计算器会自动应用这条规则，但了解它为什么这样选择会有帮助。
| 你的数据 | 主要指标 |
|---|---|
| 两位编码者，每人都编码了全部单位，类别无顺序 | Cohen's Kappa |
| 两位编码者，类别有顺序 | 加权 Kappa，线性或二次 |
| 三位或以上，每人都编码了全部单位 | Fleiss' Kappa |
| 人数不限，含空单元格 | Krippendorff's Alpha |
Alpha 在这四种情况下都适用，因此总会显示。另外三个系数都是它的特例：数据完整时，它们的数值非常接近。差别出现在有空单元格时：Kappa 会舍弃整个单位，而 Alpha 会保留它，并按编码人数加权。
它不能衡量你与 AI 模型之间的一致性
为什么不能，即使算出来的数字一样
这三个系数都假定有两位相互独立的编码者。机会校正的做法，恰恰是减去每个人各自独立判断时本会出现的一致。
当 AI 提出编码、由你审核时，这种独立性并不存在：你在做决定之前已经看到了建议。得到的数字衡量的是你接受了多少，而不是两个独立判断有多少一致。数值高可能意味着模型编码得好，也可能意味着你审核得不够仔细，而系数无法区分这两种情况。
你可以报告的是审核率：在模型提出的内容中，你最终修改了多大比例。这是一个诚实的数字，计算时不需要任何假设，准确描述了实际发生的情况。
如果你需要真正的系数，也有办法得到：盲编一个样本，不看模型的结果，之后再进行比较。这样两个判断是独立的，指标又能衡量它本来要衡量的东西。
分界值是约定俗成的，不是统计阈值
几乎所有人都引用的表格出自 Landis 和 Koch（1977）。它用得太广，值得了解，但它的作者本人并没有用证据支持它。
| 数值 | Landis 和 Koch 的标签 |
|---|---|
| 小于 0.00 | 比随机还差 |
| 0.00 至 0.20 | 轻微 |
| 0.21 至 0.40 | 一般 |
| 0.41 至 0.60 | 中等 |
| 0.61 至 0.80 | 较强 |
| 0.81 至 1.00 | 几乎完全一致 |
使用前有两点需要注意。第一：数值取决于你的编码本有多少个类别，类别少时，同样的工作会得到更高的数字，所以编码数量不同的两项研究不能按标签比较。第二：对于内容分析，Krippendorff 提出了更严格、论证更充分的标准：得出结论需要 0.80，作为初步结果呈现的下限为 0.667。报告系数时，请始终附上置信区间和单位数。
取决于三件事：有几位编码者、是否每人都编码了全部单位、类别是否有顺序。两位编码者、数据完整、类别无顺序时，用 Cohen's Kappa。三位或以上且数据完整时，用 Fleiss' Kappa。如果有空单元格，用 Krippendorff's Alpha，它是三者中唯一不舍弃这些单位的。如果类别有顺序，用加权 Kappa 或有序 Alpha，因为把“较多”和“很多”混淆，与把“较多”和“没有”混淆并不一样。计算器会自动应用这条规则，同时仍显示其他指标。
不能，这一点值得说清楚，因为这是最常见的问题。这些系数假定有两位相互独立的编码者。如果你先看到了模型的建议再做决定，你就不再独立于它：得到的数字衡量的是你接受了多少，而不是两个独立判断有多少一致。你可以报告的是审核率，即在提出的内容中你修改了多大比例。如果你确实需要一个系数，也有办法得到：盲编一个样本，不看模型的结果，之后再比较。这样独立性才存在，指标才重新有意义。
能，用 Krippendorff's Alpha。Cohen's Kappa 和 Fleiss' Kappa 要求所有编码者都编码了全部单位，因此会舍弃不完整的单位。Alpha 会保留它们：按每个单位的编码人数加权，只排除只有一个编码的单位，因为只有一个值就没有可比较的对象。计算器会告诉你每个指标舍弃了多少个单位。
没有具有统计依据的分界值。大多数人引用的是 Landis 和 Koch（1977）的表格，它把 0.61 至 0.80 称为“较强”，但其作者并没有用证据支持它：这只是一种约定。Krippendorff 提出了更严格、论证更充分的标准：得出结论需要 0.80，初步结果的下限为 0.667。此外，数值取决于你使用多少个类别：类别少时，同样的工作会得到更高的数字。最好报告系数及其置信区间和单位数，而不要只依赖标签。
不会。所有计算都在你的浏览器中、在你的电脑上完成。页面不会把你粘贴的内容发送到任何地方，也不存储任何内容，加载后离线也能使用。你可以在计算时打开浏览器开发者工具的“网络”标签页查看：没有任何请求。
两者都站得住脚，数值也非常接近。它们的区别在于如何估计随机预期的一致：Cohen's Kappa 分别使用每位编码者的边际分布，因此能容忍一位编码者比另一位多用某个类别；Alpha 使用共同的分布，并对样本量进行校正。如果你要与以往研究比较，请报告它们使用的系数。如果你需要为所有工作只选一个，日后加入第三位编码者或出现空单元格时，Alpha 可以照样使用。
因为 Kappa 有计算标准误的封闭公式，由 Fleiss、Cohen 和 Everitt 于 1969 年发表，而 Alpha 没有同样可靠的公式。Krippendorff 本人建议用重抽样估计置信区间。这里对单位重抽样一千次，取第 2.5 和第 97.5 百分位数，这也是常用实现的做法。因此，用同样的数据计算两次，Alpha 的置信区间可能会有极小的差别。