Cohen kappa ve Krippendorff alfa hesaplayıcı

Üç şeye bağlıdır: kaç kodlayıcı var, hepsi tüm birimleri kodladı mı ve kategorilerin bir sırası var mı. İki kodlayıcı, eksiksiz veri ve sırasız kategorilerle Cohen kappa. Üç veya daha fazla kodlayıcı ve eksiksiz veriyle Fleiss kappa. Boş hücreler varsa Krippendorff alfa; üçü arasında bu birimleri dışarıda bırakmayan tek ölçüdür. Kategorilerin sırası varsa kappa’nın ağırlıklı sürümü ya da sıralı alfa, çünkü “oldukça” ile “çok”u karıştırmak, “oldukça” ile “hiç”i karıştırmakla aynı şey değildir. Hesaplayıcı bu kuralı kendisi uygular ve diğer ölçüleri de gösterir.

Hayır, ve bunu açıkça söylemekte yarar var çünkü en sık sorulan soru bu. Bu katsayılar iki bağımsız kodlayıcı varsayar. Önce modelin önerisini görüp sonra karar verdiyseniz, ona karşı artık bağımsız değilsiniz: çıkan sayı ne kadar kabul ettiğinizi ölçer, iki ayrı yargının ne kadar örtüştüğünü değil. Bildirebileceğiniz şey inceleme oranıdır, yani önerilenin ne kadarını değiştirdiğiniz. Gerçekten bir katsayı istiyorsanız bunu elde etmenin bir yolu var: bir örneklemi kör olarak, modelin çıktısını görmeden kodlayın ve ancak sonra karşılaştırın. Orada bağımsızlık vardır ve ölçü yeniden bir şey ifade eder.

Evet, Krippendorff alfa ile. Cohen kappa ve Fleiss kappa tüm kodlayıcıların tüm birimleri kodlamış olmasını gerektirir, bu yüzden eksik birimleri dışarıda bırakır. Alfa onları korur: her birimi kaç kişi kodladıysa ona göre ağırlıklandırır ve yalnızca tek kodlaması olanları dışarıda bırakır, çünkü tek bir değerle karşılaştıracak bir şey yoktur. Hesaplayıcı her ölçünün kaç birimi dışarıda bıraktığını söyler.

İstatistiksel temelli bir sınır yok. Neredeyse herkesin andığı tablo 1977 tarihli Landis ve Koch tablosudur; 0,61 ile 0,80 aralığına “önemli” der, ama yazarları onu kanıtla desteklemedi: bir gelenektir. Krippendorff daha katı ve daha iyi temellendirilmiş bir ölçüt önerir: sonuca varmak için 0,80, geçici sonuçlar için alt sınır olarak 0,667. Ayrıca değer kaç kategori kullandığınıza bağlıdır: az kategoriyle aynı iş daha yüksek bir sayı verir. Katsayıyı aralığı ve birim sayısıyla birlikte bildirmek, yalnızca etikete dayanmamak iyidir.

Hayır. Tüm hesaplama tarayıcınızda, bilgisayarınızda gerçekleşir. Sayfa yapıştırdığınızı hiçbir yere göndermez, hiçbir şey saklamaz ve yüklendikten sonra bağlantısız çalışır. Hesaplarken tarayıcının geliştirici araçlarındaki ağ sekmesini açarak doğrulayabilirsiniz: hiçbir istek yoktur.

İkisi de savunulabilir ve çok yakın değerler verir. Şansa bağlı beklenen uyumu nasıl tahmin ettikleriyle ayrılırlar: Cohen kappa her kodlayıcının marjinallerini ayrı ayrı kullanır, bu yüzden birinin bir kategoriyi ötekinden çok daha fazla kullanmasına tolerans gösterir; alfa ortak bir dağılım kullanır ve örneklem büyüklüğü için düzeltir. Önceki çalışmalarla karşılaştıracaksanız onların kullandığı katsayıyı bildirin. Tüm çalışmanız için tek bir tane seçmeniz gerekiyorsa, alfa sonradan üçüncü bir kodlayıcı eklediğinizde ya da boş hücreler çıktığında değişmeden uygulanır.

Çünkü kappa’nın standart hatası için Fleiss, Cohen ve Everitt’in 1969’da yayımladığı kapalı bir formül vardır; alfanın ise güvenilir bir eşdeğeri yoktur. Krippendorff’un kendisi aralığın yeniden örnekleme ile tahmin edilmesini önerir. Burada birimler bin kez yeniden örneklenerek ve 2,5 ile 97,5 yüzdelikleri alınarak yapılır; yaygın uygulamalar da böyle yapar. Bu yüzden alfanın aralığı aynı verilerle iki hesaplama arasında çok az değişebilir.