[5분 컷 리뷰] MixPatch: A New Method for Training HistopathologyImage Classifiers
요약
CNN의 overconfidence 문제를 해결하기위해서, MixPatch라는 방법론을 고안했습니다. 디지털병리 문제 중 WSI을 패치단위로 분석하다기에 종종 과하게 예측되는 경우가 생기기 때문입니다. 저자들은 MixPatch라는 방법론으로 soft label역할을 통해 불확실한 이미지를 추가하는 augmentation 방법론을 제시합니다. 이런 이미지를 추가하여 학습하면서 uncertainty problem을 개선했습니다.
Introduction
조직병리진단시에 병리학자들이 많은 시간을 써야함에 따라서 약 3~9%의 휴먼에러가 발생합니다. 이 에러율을 줄이기위해서 딥러닝으로 QC역할로서 진행합니다. CNN기반으로 WSI을 분석하다보면, 사이즈가 너무 큰데 화소수를 줄이자니 성능이 나빠져, 작은 이미지인 패치단위로 잘라서 분석하고 집계하는 방식을 취합니다. 그러다보니 결국 패치를 분류하는 분류기의 성능에 직결되게 됩니다. 따라서, 패치 분류기를 훈련시켜야 좋을지 고민이 되는 부분입니다.
패치에서 암인지 아닌지를 분류하는 것과 같이 패치만 보고 예측하는 것을 패치수준(Patch level)분류라고하는데요. 패치수준(patch level)의 분류기를 잘 학습시키위해 여러 방법론이 있었는데, data augmentation(color,distortion, stain normalizaion)등이 주로있었습니다. 패치에 사용되는 CNN이 좀더 다양한 현실의 문제를 학습하기를 바라는 것이죠. 하지만, 이런 과정을 거쳐도 결국 실제로 사용하려면 예측점수가 중요한데, uncertainity prediction은 아직 안다뤄졌습니다.
이 문제가 중요한 이유는 병리이미지의 양성패치(abnormal, 병리적소견이 있는) 양성의 조직영상으로만 채워지지 않습니다. 즉, 일부는 양성, 일부는 음성으로 채워져있습니다. 하지만, 실제로 학습할 때는 병리학자 선생님들께서 5%의 양성, 95%의 음성이 섞인 패치를 주시기보다는 엄청 심각한, 예를 들어 95%가 비정상 세포인 이미지를 주시기 마련입니다. 그러다보니, 자연스럽게 모델은 매우 심각한 케이스만 양성으로 분류하게되며, 실제 있을만한 양성+음성의 세포조합인 패치는 학습이 안되어있게됩니다. 즉, 한 패치에서도 양성/음성비율이 다른 문제 Mixed-regision variation 특성을 가지게 됩니다. 그 결과, 양성이 매우적은 경우에도 마치 학습해서 봤던 것처럼 강하게 예측(over confidence)로 예측하게됩니다. 이런 상황은 딥러닝을 이용한 디지털병리에서 실제 사용하기에 매우 까다로운 문제가 됩니다.
이 논문에서는 실제로 이렇게 있을만한 mixed-variation property을 만들어내 soft-label dataset으로 활용하기 위함입니다
방법론: Mixed-Patch
이 방법론은 미니배치로 사용하는 패치를 Augmetnation하고 label도 augmented label(soft label)을 사용하는 것이 핵심입니다. 논문에서는 x_mixed, y_mixed라고 표현했습니다. 이 Augmentation된 이미지를 mini-patch라고 일컫습니다. 미니 패치는 원래 패치이미지를 다시 작은이미지로 split하고, 랜덤으로 섞고, 선택해서 조합(concat)하여 패치사이즈와 같게 학습되는 형식입니다. 예를들어, 패치이미지가 128x128이었다면, 이 논문에서는 64x64의 미니패치들을 만들고, 이를 4개를 접합(concat)하여 또다른 하나의 패치를 만드는 형식으로 진행한 것입니다. 이를 x_mixed라고합니다.
한편, 라벨은 소프트라벨을 주려고 했기에, 양성(비정상)으로부터 만들어진 미니패치가 있다면 0.5~1.0사이의 라벨을 주려고했습니다. 0.5~1.0사이의 수치중 mini 패치의 비율을 사용했습니다.
학습과정에서는 손실함수를 2가지로 나눕니다. 원래이미지와 Augmentation이미지에 적용할 각각의 손실함수입니다. 식 (1)은 원래 이미지에서 KL divergence입니다. (2)식은 Augmented된 이미지(Mixed-patch)에 대한 KL divergence입니다. 식 (3)은 (1)과 (2)의 가중합입니다. (1)과 (2)의 데이터셋 비중이 다르기에 이를 적절한 r로 처리하구요. (1)식은 BCE가아닌 (2)과 같은 KL로 학습했습니다.
결과: 동일한 네트워크로 Mixed Patch의 성능이 유리함.
이 논문에서는 MixedPatch의 효과를 평가하기위해 베이스라인, LS(label smoothing), cut, cut mix, mix patch을 보여줍니다. 앞의 4개의 방법론은 밴치마크로 사용됩니다.
베이스라인은 그냥학습하는 방법론을; LS은 학습시 confidence에대한 정규화를 하는방법론(https://analytics4everything.tistory.com/263, 포스팅참고하세요), cut, cut mix은 각각 다른 부분은 잘라내어 덛대거나 덛대지않거나하는 차이입니다. 추가로 cutmix은 mislabel을 줍니다. 예를 들어, 정상이미지에 비정상일부이미지를 잘라붙이는 방법론입니다.
분류성능상에서는 MixPatch가 가장좋았고, calibration plot을 그려봐도 cutmix와 유사하게 비슷한 성능을 보입니다.
종합적으로 정확도, 민/특, AUROC, ECE가 가장 우수한것이 MixedPatch였내요.
결론
요약하면, 실제 WSI이미지에서 Ground truth로 annotation케이스와 real-case을 줄이기위해서 data augmentation전략(MixedPatch)을 사용하고, 이에 맞게 손실함수를 각각 원본데아터+증강데이터를 혼합하여 학습한 방법입니다.