Kalkulator kappa Cohen dan alfa Krippendorff

Bergantung pada tiga hal: berapa koder, apakah semuanya mengodekan semua unit, dan apakah kategorinya berurutan. Dengan dua koder, data lengkap, dan kategori tak berurutan, kappa Cohen. Dengan tiga koder atau lebih dan data lengkap, kappa Fleiss. Jika ada sel kosong, alfa Krippendorff, satu-satunya dari ketiganya yang tidak membuang unit tersebut. Jika kategorinya berurutan, kappa versi berbobot atau alfa ordinal, karena tertukarnya “cukup” dengan “banyak” tidak sama dengan tertukarnya “cukup” dengan “tidak ada”. Kalkulator menerapkan aturan ini sendiri dan tetap menampilkan ukuran lainnya.

Tidak, dan ini perlu dikatakan dengan jelas karena inilah pertanyaan yang paling sering muncul. Koefisien ini mengandaikan dua koder yang independen. Jika Anda melihat usulan model lebih dulu lalu memutuskan, Anda tidak lagi independen darinya: angka yang keluar mengukur seberapa banyak yang Anda terima, bukan seberapa cocok dua penilaian yang terpisah. Yang bisa Anda laporkan adalah tingkat peninjauan, yaitu berapa proporsi usulan yang Anda ubah. Jika Anda sungguh menginginkan koefisien, ada caranya: kodekan sebuah sampel secara buta, tanpa melihat keluaran model, dan baru bandingkan setelahnya. Di situ independensi ada dan ukurannya kembali bermakna.

Bisa, dengan alfa Krippendorff. Kappa Cohen dan kappa Fleiss mensyaratkan semua koder mengodekan semua unit, sehingga membuang unit yang tidak lengkap. Alfa mempertahankannya: memberi bobot tiap unit sesuai jumlah yang mengodekannya, dan hanya mengeluarkan yang hanya punya satu pengodean, karena dengan satu nilai tidak ada yang bisa dibandingkan. Kalkulator memberi tahu berapa unit yang dibuang tiap ukuran.

Tidak ada batas yang berdasar statistik. Tabel yang hampir semua orang kutip adalah milik Landis dan Koch tahun 1977, yang menyebut rentang 0,61 sampai 0,80 sebagai “substansial”, tetapi para penulisnya tidak mendukungnya dengan bukti: itu konvensi. Krippendorff mengusulkan kriteria yang lebih ketat dan lebih beralasan, 0,80 untuk menyimpulkan dan 0,667 sebagai batas bawah bagi hasil sementara. Selain itu nilainya bergantung pada berapa banyak kategori yang Anda pakai: dengan kategori sedikit, pekerjaan yang sama menghasilkan angka lebih tinggi. Sebaiknya laporkan koefisien beserta selang kepercayaan dan jumlah unit, dan jangan hanya bersandar pada labelnya.

Tidak. Seluruh perhitungan berlangsung di browser Anda, di komputer Anda. Halaman tidak mengirim apa yang Anda tempel ke mana pun, tidak menyimpan apa pun, dan berfungsi tanpa koneksi setelah dimuat. Anda bisa memeriksanya dengan membuka tab jaringan di alat pengembang browser saat menghitung: tidak ada permintaan sama sekali.

Keduanya dapat dipertanggungjawabkan dan memberi nilai yang sangat mirip. Perbedaannya ada pada cara memperkirakan kesepakatan yang diharapkan karena kebetulan: kappa Cohen memakai marginal tiap koder secara terpisah, sehingga mentoleransi bila satu koder memakai suatu kategori jauh lebih sering daripada yang lain; alfa memakai distribusi bersama dan mengoreksi ukuran sampel. Jika Anda akan membandingkan dengan studi sebelumnya, laporkan koefisien yang mereka pakai. Jika harus memilih satu untuk seluruh karya Anda, alfa berlaku tanpa perubahan ketika kelak Anda menambah koder ketiga atau muncul sel kosong.

Karena kappa memiliki rumus tertutup untuk galat bakunya, yang diterbitkan Fleiss, Cohen, dan Everitt pada 1969, sedangkan alfa tidak punya padanan yang andal. Krippendorff sendiri menyarankan memperkirakan selangnya dengan pengambilan sampel ulang. Di sini dilakukan dengan mengambil sampel ulang unit seribu kali dan mengambil persentil 2,5 dan 97,5, seperti yang dilakukan implementasi pada umumnya. Karena itu selang alfa bisa berubah sangat sedikit di antara dua perhitungan dengan data yang sama.