2人のコーダーが一致しているかを確かめる：Cohenのカッパ係数を5ステップで

素材からサンプルを選びます。たとえば20件の回答、または分析単位全体の10〜20%です。また、コーディングの前にコードブックを決めておきます。各カテゴリに短い定義と例を一つずつ付けます。各コーダーは単位ごとに一つのカテゴリだけを割り当て、もう一人の結果を見ず、判断に迷う事例も作業が終わるまで話し合いません。

コーディングの結果を、3列のスプレッドシートに移します。単位の番号と、各コーダーが選んだカテゴリです。カテゴリは2列で大文字・小文字まで完全に同じ表記にします。「Cost」と「cost」は別のカテゴリとして数えられます。空のセルは、そのコーダーがコーディングしなかった単位です。

2列をクロス集計表にまとめます。行はコーダー1の結果、列はコーダー2の結果です。対角線上が一致した件数です。

この例では、「access」で6回、「cost」で5回、「treatment」で5回一致しました。20件中16件です。観測された一致率はp_o = 16/20 = 0.80です。

各コーダーが、それぞれのカテゴリを使った頻度のまま無作為に割り振ったとしても、何回かは一致したはずです。この期待一致率は、カテゴリごとにコーダー1の割合とコーダー2の割合を掛け、それを合計して求めます。コーダー1は各カテゴリを8回、6回、6回、コーダー2は7回、7回、6回使いました。

p_e = (8/20 × 7/20) + (6/20 × 7/20) + (6/20 × 6/20) = 0.140 + 0.105 + 0.090 = 0.335

カッパ係数は、観測された一致と期待される一致を比べます。

κ = (p_o − p_e) / (1 − p_e) = (0.80 − 0.335) / (1 − 0.335) = 0.699

カッパ係数が1なら完全な一致、0なら偶然と同じ程度の一致、負の値なら偶然を下回る一致です。

カッパ係数は、信頼区間、単位とカテゴリの数、観測された一致率とともに報告します。LandisとKochの基準では0.61〜0.80を「かなりの一致」と呼びますが、これは慣例であり、合否の境界ではありません。

不一致がどこに集中しているかも確認します。一つのカテゴリに大半が集まっているなら、その定義を見直し、別のサンプルで測定し直します。コーダーが3人以上の場合や空のセルがある場合、Cohenのカッパ係数は使えません。Fleissのカッパ係数やKrippendorffのαを使います。