Cohen's kappa coefficient: 범주형 변수형을 측정한 관찰자간 평가가 얼마나 일치하는지를 측정하기 위한 통계량입니다. 두 관찰자가 존재할 때, 일치도보다 더 믿을 만한 통계량이라고 일반적으로 알려져있습니다. 이유는 우연에 의한 일치(chance agreement)을 보정하기 때문에, 더 신뢰하다고 믿습니다.
정의:
- $p_{o}$ (observed agreement): 실제 평가자 간의 일치율 (정확도와 같음)
- $p_{e}$ (Expected agreement): 평가자가 우연히 일치할 확률. 평가자들이 아무생각 없이 무작위로 평가를 했다고 할 때, 평가가 우연히 일치할 가능성을 의미함.
예시
- 의사 1이 Positive을 선택할 확률: $P_{1, positive}$ = 40/100
- 의사 2이 Positive을 선택할 확률: $P_{2, positive}$ = 35/100
- 둘다 우연히 Positive 을 선택할 확률: $P_{1,positive} \times P_{2, positive} = 0.4 \times 0.35 = 0.14$
- 둘다 우연히 negative을 선택할 확률: $P_{1,negative} \times P_{2, negative} = 0.6 \times 0.65 = 0.39$
- 우연히 일치할 확률 $p_{e}=0.14+0.39=0.53$
- 평가자의 일치율: $p_o$=(30+55)/100= 0.85
따라서, kappa 값은 0.680입니다.
의사 1이 양성(Positive)을 선택할 확률이 왜 0.4냐고 묻는다면, 그러한 경향성을 지닌다는 가정하기 때문입니다. 즉 자신의 성향대로 평가했을 때를 의미합니다.
주요 가정
- 독립성: 평가자1과 평가자2의 평가가 독립임. 그렇기에 $P_{e}$계산에서 두 관찰자간의 양성확률을 곱해준는 것
- 고정된 평가 범주
- 모든 평가 항목에 대한 동일한 평가: 모든 평가자는 평가하는 대상의 N이 동일해야함
- 평가 범주의 해석이 동일: 평가자들은 각 범주의 의미를 동일하게 이해 해야함. (예, 진단 기준이 동일해야함)
반응형
