İki kodlayıcının uyumlu olup olmadığı nasıl anlaşılır: 5 adımda Cohen kappa

Verilerden bir örneklem seçin, örneğin 20 yanıt ya da birimlerin %10 ila %20’si. Kod kitabı üzerinde önceden anlaşın: her kategori için kısa bir tanım ve bir örnek. Her kişi birim başına tek bir kategori atar, diğerinin ne yazdığını görmez ve kararsız kalınan durumları iş bitene kadar tartışmaz.

Kodlamaları üç sütunlu bir tabloya aktarın: birim numarası ve her kodlayıcının seçtiği kategori. Kategoriler iki sütunda da büyük-küçük harf dâhil tam olarak aynı yazılmalıdır: “Cost” ve “cost” iki ayrı kategori sayılır. Boş bir hücre, o kodlayıcının kodlamadığı bir birimdir.

İki kodlayıcının kodlamalarıyla bir çapraz tablo oluşturun: satırlar 1. kodlayıcının, sütunlar 2. kodlayıcının yazdıklarıdır. Köşegen, eşleşmeleri gösterir.

Örnekte “access” kategorisinde 6, “cost” kategorisinde 5 ve “treatment” kategorisinde 5 kez eşleştiler: 20’de 16. Gözlenen uyum p_o = 16/20 = 0,80’dir.

Her kişi kategorileri, her birini kullandığı sıklıkla rastgele dağıtmış olsaydı da bazı durumlarda eşleşirdi. Bu beklenen uyum kategori bazında hesaplanır: 1. kodlayıcının oranı 2. kodlayıcının oranıyla çarpılır ve toplanır. 1. kodlayıcı kategorileri 8, 6 ve 6 kez; 2. kodlayıcı 7, 7 ve 6 kez kullandı:

p_e = (8/20 × 7/20) + (6/20 × 7/20) + (6/20 × 6/20) = 0,140 + 0,105 + 0,090 = 0,335

Kappa, gözleneni beklenenle karşılaştırır:

κ = (p_o − p_e) / (1 − p_e) = (0,80 − 0,335) / (1 − 0,335) = 0,699

Kappa 1 ise tam uyum, 0 ise şansın vereceği kadar uyum, negatif ise şanstan daha az uyum vardır.

Kappa’yı güven aralığı, birim ve kategori sayısı ve gözlenen uyumla birlikte raporlayın. Landis ve Koch ölçeği 0,61 ile 0,80 arasındaki değere “önemli düzeyde uyum” der, ama bu bir eşik değil, bir uzlaşıdır.

Uyumsuzluğun nerede toplandığına da bakın: çoğu tek bir kategorideyse tanımını düzeltin ve ölçümü başka bir örneklemle tekrarlayın. Üç veya daha fazla kodlayıcı ya da boş hücre varsa Cohen kappa yetmez: Fleiss kappa veya Krippendorff alfa kullanılır.