Rechner für Cohens Kappa und Krippendorffs Alpha

Das hängt von drei Dingen ab: wie viele Codierende es gibt, ob alle alle Einheiten codiert haben und ob die Kategorien eine Reihenfolge haben. Bei zwei Codierenden, vollständigen Daten und ungeordneten Kategorien: Cohens Kappa. Bei drei oder mehr und vollständigen Daten: Fleiss' Kappa. Bei leeren Zellen: Krippendorffs Alpha, die einzige der drei Maßzahlen, die diese Einheiten nicht verwirft. Bei geordneten Kategorien: die gewichtete Version von Kappa oder das ordinale Alpha, denn „ziemlich“ mit „sehr“ zu verwechseln ist nicht dasselbe wie „ziemlich“ mit „gar nicht“. Der Rechner wendet diese Regel selbst an und zeigt die übrigen Maßzahlen trotzdem an.

Nein, und das sollte man klar sagen, weil es die häufigste Frage ist. Diese Koeffizienten setzen zwei unabhängige Codierende voraus. Wenn Sie zuerst den Vorschlag des Modells gesehen und danach entschieden haben, sind Sie nicht mehr unabhängig davon: Die Zahl, die herauskommt, misst, wie viel Sie übernommen haben, nicht, wie sehr zwei getrennte Urteile übereinstimmten. Angeben können Sie die Überarbeitungsquote, also welchen Anteil des Vorgeschlagenen Sie geändert haben. Wenn Sie wirklich einen Koeffizienten möchten, gibt es einen Weg: Codieren Sie eine Stichprobe blind, ohne die Ausgabe des Modells zu sehen, und vergleichen Sie erst danach. Dann besteht Unabhängigkeit, und die Maßzahl bedeutet wieder etwas.

Ja, mit Krippendorffs Alpha. Cohens Kappa und Fleiss' Kappa verlangen, dass alle Codierenden alle Einheiten codiert haben, und verwerfen deshalb unvollständige Einheiten. Alpha behält sie: Es gewichtet jede Einheit danach, wie viele sie codiert haben, und lässt nur die weg, die eine einzige Codierung haben, denn mit einem einzelnen Wert gibt es nichts zu vergleichen. Der Rechner zeigt an, wie viele Einheiten jede Maßzahl verworfen hat.

Es gibt keine statistisch begründete Schwelle. Die Tabelle, die fast alle zitieren, ist die von Landis und Koch aus dem Jahr 1977, die den Bereich von 0,61 bis 0,80 „beachtlich“ nennt, aber ihre Autoren haben sie nicht empirisch belegt: Es ist eine Konvention. Krippendorff schlägt ein strengeres und besser begründetes Kriterium vor, 0,80, um Schlüsse zu ziehen, und 0,667 als Untergrenze für vorläufige Ergebnisse. Außerdem hängt der Wert davon ab, wie viele Kategorien Sie verwenden: Mit wenigen Kategorien ergibt dieselbe Arbeit eine höhere Zahl. Geben Sie den Koeffizienten am besten mit seinem Intervall und der Zahl der Einheiten an, statt sich nur auf die Bezeichnung zu stützen.

Nein. Die ganze Berechnung läuft in Ihrem Browser, auf Ihrem Computer. Die Seite sendet nichts von dem, was Sie einfügen, speichert nichts und funktioniert nach dem Laden auch offline. Sie können das prüfen, indem Sie beim Berechnen den Netzwerk-Tab der Entwicklertools Ihres Browsers öffnen: Es gibt keine einzige Anfrage.

Beide sind vertretbar und liefern sehr ähnliche Werte. Sie unterscheiden sich darin, wie sie die zufällig erwartete Übereinstimmung schätzen: Cohens Kappa nutzt die Randverteilungen jeder codierenden Person getrennt und toleriert daher, dass eine Person eine Kategorie viel häufiger verwendet als die andere; Alpha nutzt eine gemeinsame Verteilung und korrigiert für die Stichprobengröße. Wenn Sie mit früheren Studien vergleichen, geben Sie den Koeffizienten an, den diese verwendet haben. Wenn Sie einen einzigen für Ihre ganze Arbeit wählen müssen: Alpha gilt unverändert weiter, wenn später eine dritte codierende Person hinzukommt oder leere Zellen auftreten.

Weil es für Kappa eine geschlossene Formel für den Standardfehler gibt, veröffentlicht von Fleiss, Cohen und Everitt im Jahr 1969, und für Alpha keine verlässliche Entsprechung. Krippendorff selbst empfiehlt, das Intervall per Resampling zu schätzen. Hier geschieht das, indem die Einheiten tausendmal neu gezogen und die Perzentile 2,5 und 97,5 genommen werden, wie es die üblichen Implementierungen tun. Deshalb kann sich das Intervall von Alpha zwischen zwei Berechnungen mit denselben Daten minimal unterscheiden.