Cara mengetahui apakah dua koder sepakat: kappa Cohen dalam 5 langkah

Pilih sampel dari materi, misalnya 20 jawaban atau 10 hingga 20% dari unit, dan sepakati buku kode lebih dahulu: setiap kategori dengan definisi singkat dan satu contoh. Setiap orang memberikan satu kategori saja per unit, tanpa melihat isian orang lain dan tanpa membahas kasus yang meragukan sampai selesai.

Pindahkan hasil coding ke lembar kerja tiga kolom: nomor unit dan kategori yang dipilih setiap koder. Kategori harus ditulis persis sama di kedua kolom, termasuk huruf besar dan kecil: “Cost” dan “cost” dihitung sebagai dua kategori berbeda. Sel kosong adalah unit yang tidak dikoding oleh koder tersebut.

Buat tabulasi silang kedua kolom dalam tabel kontingensi: baris adalah isian koder 1; kolom adalah isian koder 2. Diagonal adalah kecocokan.

Dalam contoh, mereka cocok 6 kali pada “access”, 5 kali pada “cost”, dan 5 kali pada “treatment”: 16 dari 20. Kesepakatan yang teramati adalah p_o = 16/20 = 0,80.

Seandainya setiap orang menetapkan kategori secara acak, dengan frekuensi yang sama seperti saat memakai masing-masing kategori, mereka tetap akan cocok beberapa kali. Kesepakatan yang diharapkan ini dihitung per kategori, dengan mengalikan proporsi koder 1 dengan proporsi koder 2, lalu menjumlahkannya. Koder 1 memakai setiap kategori 8, 6, dan 6 kali; koder 2, 7, 7, dan 6 kali:

p_e = (8/20 × 7/20) + (6/20 × 7/20) + (6/20 × 6/20) = 0,140 + 0,105 + 0,090 = 0,335

Kappa membandingkan yang teramati dengan yang diharapkan:

κ = (p_o − p_e) / (1 − p_e) = (0,80 − 0,335) / (1 − 0,335) = 0,699

Kappa 1 berarti kesepakatan penuh; 0, kesepakatan setara dengan yang terjadi secara kebetulan; nilai negatif, lebih rendah daripada kebetulan.

Laporkan kappa beserta intervalnya, jumlah unit dan kategori, serta kesepakatan yang teramati. Skala Landis dan Koch menyebut nilai antara 0,61 dan 0,80 sebagai “kesepakatan substansial”, tetapi itu konvensi, bukan ambang batas.

Lihat juga di mana ketidaksepakatan terpusat: jika satu kategori menampung sebagian besar, sesuaikan definisinya dan ulangi pengukuran dengan sampel lain. Dengan tiga koder atau lebih, atau dengan sel kosong, kappa Cohen tidak cukup: gunakan kappa Fleiss atau alfa Krippendorff.