カッパ係数とクリッペンドルフのα計算ツール

3つの条件で決まります。コーダーの人数、全員がすべての単位をコーディングしたか、カテゴリに順序があるかです。コーダー2名、データが完全、カテゴリに順序がなければCohenのκです。3名以上でデータが完全ならFleissのκです。空白セルがある場合はKrippendorffのαで、3つのうちそうした単位を除外しないのはαだけです。カテゴリに順序がある場合は、重み付きκか順序尺度のαを使います。「かなり」と「とても」を取り違えるのと、「かなり」と「なし」を取り違えるのは同じではないからです。計算ツールはこの規則を自動で適用し、ほかの指標も併せて表示します。

測れません。これは最もよくある質問なので、はっきりお伝えします。これらの係数は独立した2名のコーダーを前提としています。先にモデルの提案を見てから判断した場合、あなたはもうその提案から独立していません。出てくる数値が測るのは、どれだけ受け入れたかであり、別々の2つの判断がどれだけ一致したかではありません。報告できるのは見直し率、つまり提案のうちどれだけ変更したかです。どうしても係数が必要な場合は、モデルの出力を見ずにサンプルをブラインドでコーディングし、そのあとで比較してください。そうすれば独立性が保たれ、指標に意味が戻ります。

はい、Krippendorffのαなら使えます。Cohenのκ、Fleissのκは全コーダーが全単位をコーディングしていることを前提とするため、不完全な単位は除外されます。αは残します。何人がコーディングしたかに応じて各単位に重みを付け、コーディングが1件だけの単位のみ除外します。値が一つでは比べる対象がないからです。計算ツールは、各指標で何単位を除外したかを表示します。

統計的な根拠のある区切りはありません。ほとんどの人が引用するのは1977年のLandisとKochの表で、0.61〜0.80を「かなり良好」としていますが、著者自身はこれを裏付ける根拠を示しておらず、慣例にすぎません。Krippendorffは、より厳しく根拠のはっきりした基準を示しています。結論を出すには0.80、暫定的な結果の下限は0.667です。また、値は使うカテゴリ数に左右され、カテゴリが少ないと同じ作業でも高く出ます。区分のラベルだけに頼らず、係数は信頼区間と単位数を添えて報告するのが望ましいです。

いいえ。計算はすべてお使いのコンピューターのブラウザ上で行われます。貼り付けた内容がどこかに送信されることはなく、何も保存されず、読み込み後はオフラインでも動作します。計算中にブラウザの開発者ツールのネットワークタブを開けば、通信がないことを確認できます。

どちらも妥当で、非常に近い値になります。違いは、偶然による一致の期待値の推定方法です。Cohenのκは各コーダーの周辺分布を別々に使うため、一方がある1つのカテゴリをもう一方よりはるかに多く使っても許容されます。αは共通の分布を使い、標本の大きさで補正します。過去の研究と比較する場合は、その研究で使われた係数を報告してください。研究全体で1つだけ選ぶなら、あとで3人目のコーダーが加わったり空白セルが出たりしても、αはそのまま適用できます。

κの標準誤差には、1969年にFleiss、Cohen、Everittが発表した閉じた式がありますが、αには信頼できる同等の式がないからです。Krippendorff自身が、区間はリサンプリングで推定することを勧めています。ここでは、単位を1000回リサンプリングし、2.5と97.5のパーセンタイルをとっています。これは一般的な実装と同じ方法です。そのため、同じデータで2回計算すると、αの区間がごくわずかに変わることがあります。