두 코더가 일치하는지 확인하는 법: Cohen's Kappa 5단계

자료에서 표본을 고릅니다. 예를 들어 응답 20개 또는 분석 단위의 10~20%입니다. 그리고 코드북을 미리 정해 둡니다. 각 범주에는 짧은 정의와 예시를 하나씩 둡니다. 각 코더는 단위마다 범주를 하나만 지정하며, 다른 코더의 결과를 보지 않고, 판단이 어려운 경우도 작업이 끝날 때까지 논의하지 않습니다.

코딩 결과를 세 열짜리 스프레드시트로 옮깁니다. 단위 번호와 각 코더가 고른 범주입니다. 범주는 두 열에서 대소문자까지 똑같이 적어야 합니다. “Cost”와 “cost”는 서로 다른 범주로 계산됩니다. 빈 셀은 해당 코더가 코딩하지 않은 단위입니다.

두 열을 교차표로 정리합니다. 행은 코더 1의 결과, 열은 코더 2의 결과입니다. 대각선이 일치한 횟수입니다.

이 예시에서는 “access”에서 6번, “cost”에서 5번, “treatment”에서 5번 일치했습니다. 20개 중 16개입니다. 관찰된 일치율은 p_o = 16/20 = 0.80입니다.

각 코더가 자신이 각 범주를 쓴 빈도대로 무작위로 배정하더라도 몇 번은 일치했을 것입니다. 이 기대 일치율은 범주마다 코더 1의 비율과 코더 2의 비율을 곱해 더하여 구합니다. 코더 1은 각 범주를 8, 6, 6번, 코더 2는 7, 7, 6번 사용했습니다.

p_e = (8/20 × 7/20) + (6/20 × 7/20) + (6/20 × 6/20) = 0.140 + 0.105 + 0.090 = 0.335

카파는 관찰된 일치와 기대 일치를 비교합니다.

κ = (p_o − p_e) / (1 − p_e) = (0.80 − 0.335) / (1 − 0.335) = 0.699

카파가 1이면 완전한 일치, 0이면 우연과 같은 수준의 일치, 음수이면 우연보다 낮은 일치입니다.

카파는 신뢰구간, 단위와 범주의 수, 관찰된 일치율과 함께 보고합니다. Landis와 Koch의 기준은 0.61~0.80을 “상당한 일치”라고 부르지만, 이는 관례일 뿐 합격선이 아닙니다.

불일치가 어디에 몰려 있는지도 살펴봅니다. 한 범주에 대부분이 몰려 있다면 그 정의를 조정하고 다른 표본으로 다시 측정합니다. 코더가 세 명 이상이거나 빈 셀이 있으면 Cohen's Kappa는 쓸 수 없고, Fleiss' Kappa나 Krippendorff's Alpha를 사용합니다.