카파 계수와 크리펜도르프 알파 계산기

세 가지에 따라 달라집니다. 코더가 몇 명인지, 모든 코더가 모든 단위를 코딩했는지, 범주에 순서가 있는지입니다. 코더가 2명이고 데이터가 완전하며 범주에 순서가 없다면 Cohen의 카파입니다. 3명 이상이고 데이터가 완전하면 Fleiss의 카파입니다. 빈 셀이 있으면 Krippendorff의 알파이며, 세 가지 가운데 그런 단위를 버리지 않는 것은 알파뿐입니다. 범주에 순서가 있다면 가중 카파나 순서형 알파를 씁니다. “꽤”와 “매우”를 혼동하는 것과 “꽤”와 “없음”을 혼동하는 것은 같지 않기 때문입니다. 계산기는 이 규칙을 자동으로 적용하고 다른 지표도 함께 보여 줍니다.

측정할 수 없습니다. 가장 자주 나오는 질문이므로 분명히 말씀드립니다. 이 계수들은 독립된 두 코더를 전제로 합니다. 모델의 제안을 먼저 보고 나서 결정했다면, 이미 그 제안으로부터 독립적이지 않습니다. 나오는 숫자는 얼마나 받아들였는지를 나타낼 뿐, 서로 다른 두 판단이 얼마나 일치했는지를 나타내지 않습니다. 보고할 수 있는 것은 수정률, 즉 제안된 것 가운데 얼마나 바꾸었는지입니다. 정말 계수가 필요하다면, 모델의 출력을 보지 않고 표본을 블라인드로 코딩한 뒤에 비교하십시오. 그러면 독립성이 확보되어 지표가 의미를 되찾습니다.

예, Krippendorff의 알파로 가능합니다. Cohen의 카파와 Fleiss의 카파는 모든 코더가 모든 단위를 코딩했다고 전제하므로 불완전한 단위를 버립니다. 알파는 남겨 둡니다. 몇 명이 코딩했는지에 따라 각 단위에 가중하고, 코딩이 하나뿐인 단위만 제외합니다. 값이 하나뿐이면 비교할 대상이 없기 때문입니다. 계산기는 각 지표가 몇 단위를 버렸는지 알려 줍니다.

통계적 근거가 있는 기준은 없습니다. 가장 많이 인용되는 것은 1977년 Landis와 Koch의 표로, 0.61~0.80을 “상당함”이라고 부르지만 저자들도 이를 뒷받침하는 근거를 제시하지 않았으므로 관례일 뿐입니다. Krippendorff는 더 엄격하고 근거가 분명한 기준을 제시합니다. 결론을 내리려면 0.80, 잠정적인 결과의 하한은 0.667입니다. 또 값은 사용하는 범주 수에 따라 달라지며, 범주가 적으면 같은 작업도 더 높게 나옵니다. 구분의 이름에만 기대지 말고 계수를 신뢰구간과 단위 수와 함께 보고하는 것이 좋습니다.

아니요. 모든 계산은 이용자의 컴퓨터에 있는 브라우저에서 이루어집니다. 붙여넣은 내용은 어디로도 전송되지 않고, 아무것도 저장되지 않으며, 한 번 불러온 뒤에는 오프라인에서도 작동합니다. 계산하는 동안 브라우저 개발자 도구의 네트워크 탭을 열어 보면 통신이 없음을 확인할 수 있습니다.

둘 다 타당하며 매우 비슷한 값이 나옵니다. 차이는 우연에 의한 기대 일치를 추정하는 방식에 있습니다. Cohen의 카파는 각 코더의 주변 분포를 따로 사용하므로, 한 코더가 어떤 범주를 다른 코더보다 훨씬 많이 써도 괜찮습니다. 알파는 공통 분포를 쓰고 표본 크기로 보정합니다. 이전 연구와 비교한다면 그 연구가 쓴 계수를 보고하십시오. 연구 전체에서 하나만 골라야 한다면, 나중에 세 번째 코더가 추가되거나 빈 셀이 생겨도 알파는 그대로 적용할 수 있습니다.

카파의 표준오차에는 1969년 Fleiss, Cohen, Everitt가 발표한 닫힌 형태의 공식이 있지만, 알파에는 신뢰할 만한 동등한 공식이 없기 때문입니다. Krippendorff 본인이 구간을 리샘플링으로 추정할 것을 권합니다. 여기서는 단위를 1,000번 리샘플링하고 2.5와 97.5 백분위수를 취합니다. 일반적인 구현이 하는 방식입니다. 그래서 같은 데이터로 두 번 계산하면 알파의 구간이 아주 조금 달라질 수 있습니다.