파이썬 바인딩 오픈슬라이드(python-openslide)는 OpenSlide을 필요로합니다. 파이썬 바인딩 오픈슬라이드(python-openslide) 설치되었는데, OpenSlide가 설치되지 않아서 발생하는 에러입니다.
아래와 같은 명령어로 openslide을 운영체제 내에 설치해줍니다.
sudo apt-get install openslide-tools
ImportError: /lib/x86_64-linux-gnu/libgobject-2.0.so.0: undefined symbol: ffi_type_uint32, version LIBFFI_BASE_7.0
conda install openslide -c conda-forge
VLM (Vision Lanuage Model)으로 슬라이드 이미지를 입력으로 레포트를 생성하는 것을 의미합니다 (Figure 2A). 컴포넌트는 2가지입니다. 비젼모델과 언어모델입니다.
추론
요약
Breast cancer관련 병리이미지의 분류문제에서, SSL을 활용할 때, 전체 데이터셋을 다활용하지 않고 50%정도 활용해도 전체를 사용한 것과 비등한 결과를 냈음. 또한, 인코더 전체를 다 사용하지 않고 일부레이어만 사용해도 큰 퍼포먼스의 저하가가 발생하지 않고, 오히려 오르는 경우도 관찰됨
Introduction
의료인공지능은 그 목적성이 강해, 대게는 지도학습으로 학습됩니다. 지도학습시에는 라벨이 있는 데이터를 많이 필요로하는데, 이 데이터를 만들기위한 비용이 매우 큽니다. 하지만 최근에, 라벨 없는 데이터에서 그 특징을 사전학습하는 자기지도학습(Self-supervised learning)으로 획기적인 성능향상을 많이 보였습니다.
문제는 이런 SSL을 할 때, 많은 데이터로 활용하다보니, 컴퓨팅 자원, 시간등이 많이 들어갑니다. 본 연구는 SSL할 때, 정말 이런 많은양의 데이터를 넣어 성능이 나오는가? 1) 더 적은 양을 SSL해도 성능이 유지되는 경우는 없는가? 2) SSL시 사용되는 인코더를 다 쓸필요는 있는가? 3) SSL에 사용되는 Contrastive learning시 샘플링 작업에 따라 성능 개선이 있는가?를 알아보기위한 논문입니다.
Methods
MoCo: MoCo을 알기전에, 대조적학습(contrastive learning)을 이해해야합니다. 대조적학습은 인코딩된 샘플 $\{ k_{0}, k_{1},...,k_{N}\}$ 가 있을 때, 각각을 딕셔너리의 키(key)로 고려합니다. 즉, 쿼리(q)에 대해 하나의 positive key가 있고, 그 외에 다른 키들은 negative key로 고려합니다. 이 때, 손실함수는 아래의 손실함수를 사용합니다.
$L_{q}=-log(\frac{\psi(q,k^{+})}{\psi(q,k^{+} + \sum_{i=1}^{K}{\psi(q,k_{i})}})$
용어설명
유사도
해석
유사도 함수($\psi$)은 항상 양의 값을 갖습니다. 따라서, log 내부 값의 값은 항상 0보다 크고 1보다 작은 값을 가집니다. 즉 log값이 (-inf, 0)을 갖기에, 음수(-)을 곱하여 (0, inf)로 손실함수 값을 계산합니다. (query, positive)의 유사도가 클수록(query, negtaive) 유사도가 작을수록 0으로, (query, positive)의 유사도가 작고, (query, negtaive) 유사도가 클수록 inf의 손실함수 값을 갖습니다.
아키텍처
MoCo에서는 feature collapse을 방지하기위해서, 서로 다른 encoder 2개를 사용하여, query, key을 생성합니다. query을 생성한 인코더의 가중치(파라미터)를 $\theta_{q}$라 하고, k로부터 얻은 $theta_{k}$라고하면, 가중합을하여 파라미터를 업데이트 합니다. m은 모멘텀계수(momentum coefficient)라고 합니다.
$\theta_{k} <- m \theta_{k} + (1-m) \theta_{q} $
샘플링방법
1. Semnatically-relevant contrastive learning (SRCL): 추가적인 positive sample을 구하기위한 샘플링 방법
SRCL와 MoCo의 가장 큰차이는 positive smapling수의 차이가 있습니다. 배치당 positive sample을 1개씩만 얻는 MoCo와 달리, SRCL을 더 많은 수를 뽑습니다. 주요 가정은 같은 슬라이드 이미지에서 나온 패치들은 더 유사성이 높을 테니, negative로 취급하면 안된다라는 것입니다.
SRCL의 positive sampling 방법은 슬라이드 내의 위치정보를 사용하지는 않고, 유사도 기반으로 샘플링하는 방법입니다. 배치 또는 메모리큐에서 코사인유사도가 가장 큰 5개의 패치를 골라, positive sample로 정의하고, 그외를 negative로 정해서 contrastive learning을 합니다. 이 논문에서는 Poistive sample이 5개를 고르려면, 인코더가 충분히 학습되어야한다는 가정하에, 파라미터가 잘 학습된 구간이라고 생각할만한 5에폭 이전까지는 일반적인 contrastive learning을 돌리고, 이후로 SRCL로 학습했습니다.
$L_{q}=-log(\frac{\sum_{j=1}^{S+1}\psi(q,k^{+})}{\sum_{j=1}^{S+1}\psi(q,k^{+}) + \sum_{i=1}^{K}{\psi(q,k_{i})}})$
2. Negative smaplign (N-Sam)
3. Dynamic sampling (DS)
실험 및 평가
결론
유방암의 WSI encoder을 학습을 SSL로 학습할 때, 요구되는 자원을 좀 더 적게 쓸수 있다는 분석을 얻었습니다. 특히, 데이터를 전체 다 사용하지 않더라도 downstream task에서 전체 사용하는 것과 비등한 성능을 보였다는게 놀랍습니다. 또한, 인코더 전체를 굳이사용할필요는 없고, 마지막인코더를 제이하는 경우가 오히려 weakly supervised learning에서 더 나은 성능일 보였습니다.
요약
소화기(GI track)를 내시경(EGD, Colonoscopy)으로 검사할 때, 대장내시경과 위내시경을 진행합니다. 대장내시경과 위내시경시에 용종 등이 있으면 생검(bx)을 진행하고, 이를 병리검사합니다. 본 논문에서는 생검이후에 병리검사에서의 오류가 있을 수 있는 내용들을 QC하기위해 인공지능을 사용합니다. 매일 분석을 진행하고 분석결과중 인공지능이 예측한 결과랑 판독의가 제시한결과가 다를 경우 리뷰를 다시 진행합니다, 이 논문은 이 방법론을 적용하고 약 3개월간의 내용입니다. 약 7-10배로 슬라이드 조직 판독리뷰가 빨라졌으며, AI로 더블체크를 진행했습니다. 그리고, 인공지능을 도입한 이후 종전대비 휴면에러는 1.2일당 17배의 휴먼에러가 더 많이 검출되었다고 합니다.
Preliminary
- Reference laboratory(위탁검사 실험실): 타 기관으로부터 검사를 받는 위탁 검사실을 의미합니다. 여기서 Reference 은 "참조"가 아닌 수탁/위탁 등을 의미합니다, 예, 전원오거나 가는것도 refer라합니다.
- 씨잰의료재단은 수술로 절제한 검체를 받는 것이 아닌, 내시경 검사등으로 얻어낸 생검(biopsy)을 주로 위탁받습니다. 이런 위탁은 검사실이 없는 1,2차의료병원으로부터 받습니다.
Introduction
한국에서는 모든 종류의 암으로 사망하는 사람들 중, 대장암으로 인한 사망이 3위(11.0%), 위암으로 인한 사망이 4위(9.8%)정도 됩니다. 한국에서 이를 위한 스크리닝 검사로 위내시경, 대장내시경을 진행합니다(이를 통틀어 GI endoscopy라고 부름). 그리고, 대장내시경 할때 대부분 용종등이 발견되면, 생검(biopsy, bx)을 하게됩니다. 생검결과는 실험실이 있는 경우 직접이 시행하게되고, 실험실이 없는 경우는 위탁을 하게됩니다. 문제는 위탁을 보낸후, 수탁을 받는 쪽에서서 Human error가 발생할 수 있다는 점입니다. 이런 생검결과는 조직검사(Histopathology)을 하게되는데 이 검사 특성상, 확증적인 진단의 수단이됩니다. 혹시나 발생하는 False negative가 환자의 치료를 놓치는 큰 비용이될 수 있다는 것입니다.
보통 이런 휴먼에러를 줄이기위해서, 실험실에서는 QC(Quality control)을 자체적으로 진행하는데요. 병리과 선생님당 랜덤으로 몇명씩 샘플을 랜덤으로 뽑아서 리뷰한다거나 하는 식입니다. 근데 이 마저도 꽤 부담이됩니다. 그래서 AI을 이용한 QC을 이용하고자합니다. AI을 이용한 QC방법은 3가지 제한사항이 있는데요.
그래서, 이 연구는 실증적으로 위의사항을 고려하여 AI driven QC방법론이 실제로 휴먼에러를 더 줄 수 있는지에 대한 연구입니다.
방법론: AI Pipeline
이 연구는 기존에 진단된 조직병리 검사결과를 다시 라벨링하는것부터 시작합니다. 인공지능의 개발과정을 포함해서 총 1,762의 위암생검, 1,509의 대장암생성의 WSI을 가져와서 Training/Validation/Test로 나누었습니다. 그리고나서, 5명의 병리학자들이 기존 진단결과를 리뷰하고 다시 라벨링하는 과정을 거쳤습니다. 그리고 각 슬라이드를 Malignant, Dysplasia, negative for dysplaisa, Uncategorized(그외)로 4가지로 분류했습니다. 실제로는 U은 실무적으로 의미가 없기에 U을 제외한 3종의 분류기를 만들었습니다.
그리고 아래의 이미지에 따라 데이터를 처리합니다.
*MRXS format: multi-file with very complicated proprietary metadata and indexes (https://openslide.org/formats/mirax/)
** 패치크기를 키우면 성능엔 도움이 될 수 있지만, UI상으로 그래도 꽤 큰 이미지이게 병변을 확인하긴 어려울 수 있음.
방법론: QC방법
결과: Daily QC전의 검증, daily QC의 검증
QC운영전의 검증테스트: 실험수준의 결과로는 위암과 대장암에서의 약 96.0%와 95.8% Validation결과를 얻었습니다. 한편. 실제로 도입하기전에 Inhouse dataset으로도 검증도 했습니다. 사전검사(Pre-test)셋을 따로 구축해서 319셋의 대장암, 419셋의 위암데이터셋을 구축했습니다. 이 데이터셋 비율은 임상에서 실무적으로 얻어지는 비율과 동일하게 셋팅했습니다. 이 데이터셋에서도 93.08%, 95.30%의 정확도를 보였습니다.
Daily QC의 검증: 서두에서 얘기했듯이 약 3개월간의 기간동안 전향적으로 연구한 결과를 제시했습니다. 3개월동안에 WSI 분류 성능(정확도)은 약 90.29%로 보였습니다. 이런 인공지능을 이용한 진단보조에서는 False negative가 상당히 중요한데 이 언급도 있습니다. NPV(Negative predictive value, negative로 예측했던 결과중에 실제 negative비율)은 97.20%을 보였습니다. 아마 Threshold을 느슨하게 잡았어도 이 정도 오차를 보일 수 있는데 개선여지가 아직 남은듯합니다. 특히 진짜 FN인경우 CRC에서 한 케이스를 보였습니다.
실제 이 인공지능 모델로 QC을 세달간진행하고, 인공지능QC전 약 33개월의 결과를 함께보여주었습니다. 33개월동안 GC은 5,789의 슬라이드를 봤고, 이는 랜덤샘플한 결과입니다 (약 160.8슬라이드/한달 정도겠구요). 이 경우는 병리판독의의 18개의 불일치를 결과를 보였구요. 이중 16개 케이스는 약간차이나는정도, 2건은 중간정도 판독차이가 있었습니다. 아마 계속 QC해왔던 기관이라 에러율은 딱히없어보였습니다. 한편, 3개월동안의 SeeDP을 용한 QC을 진행한 경우, 3arm 으로 1) 랜덤리뷰, 2)AI +병리과전문의 3) AI only로 각각 평가했습니다. AI +병리과전문의로 오류케이스를 잡는 경우는 1.2일정도 걸렸고, 이를 교정하는데 3.4일내에 끝났습니다. 한편, 원래 프로세스에서는 40.2일이 걸렸습니다. 이는 상당한 생산성향상을 보여줍니다. 더 많은 오류검출과 빠른 엑션이 가능함을 결과로 제시했습니다.
결론
1. 실제 임상프로세스에 도입하기 위해서는 임상프로세스의 과정을 크게 바꾸지 않으면서 도입이 필요한데, 큰 변경사항없이 이 과정을 수행했습니다.
2. 연구에서 보여준 것처럼 AI driven QC프로세스는 오검사로 일어날 위협으로 환자안전에 도움을 줄 수 있습니다. 특히, QC 방법으로 인공지능결과와 불일치결과를 확인하면서, 1-2달 걸리던 오진을 빠르게 교정하고 의뢰인(의사)에게 오류없이 알려줄 수 있습니다.
요약
CNN의 overconfidence 문제를 해결하기위해서, MixPatch라는 방법론을 고안했습니다. 디지털병리 문제 중 WSI을 패치단위로 분석하다기에 종종 과하게 예측되는 경우가 생기기 때문입니다. 저자들은 MixPatch라는 방법론으로 soft label역할을 통해 불확실한 이미지를 추가하는 augmentation 방법론을 제시합니다. 이런 이미지를 추가하여 학습하면서 uncertainty problem을 개선했습니다.
Introduction
조직병리진단시에 병리학자들이 많은 시간을 써야함에 따라서 약 3~9%의 휴먼에러가 발생합니다. 이 에러율을 줄이기위해서 딥러닝으로 QC역할로서 진행합니다. CNN기반으로 WSI을 분석하다보면, 사이즈가 너무 큰데 화소수를 줄이자니 성능이 나빠져, 작은 이미지인 패치단위로 잘라서 분석하고 집계하는 방식을 취합니다. 그러다보니 결국 패치를 분류하는 분류기의 성능에 직결되게 됩니다. 따라서, 패치 분류기를 훈련시켜야 좋을지 고민이 되는 부분입니다.
패치에서 암인지 아닌지를 분류하는 것과 같이 패치만 보고 예측하는 것을 패치수준(Patch level)분류라고하는데요. 패치수준(patch level)의 분류기를 잘 학습시키위해 여러 방법론이 있었는데, data augmentation(color,distortion, stain normalizaion)등이 주로있었습니다. 패치에 사용되는 CNN이 좀더 다양한 현실의 문제를 학습하기를 바라는 것이죠. 하지만, 이런 과정을 거쳐도 결국 실제로 사용하려면 예측점수가 중요한데, uncertainity prediction은 아직 안다뤄졌습니다.
이 문제가 중요한 이유는 병리이미지의 양성패치(abnormal, 병리적소견이 있는) 양성의 조직영상으로만 채워지지 않습니다. 즉, 일부는 양성, 일부는 음성으로 채워져있습니다. 하지만, 실제로 학습할 때는 병리학자 선생님들께서 5%의 양성, 95%의 음성이 섞인 패치를 주시기보다는 엄청 심각한, 예를 들어 95%가 비정상 세포인 이미지를 주시기 마련입니다. 그러다보니, 자연스럽게 모델은 매우 심각한 케이스만 양성으로 분류하게되며, 실제 있을만한 양성+음성의 세포조합인 패치는 학습이 안되어있게됩니다. 즉, 한 패치에서도 양성/음성비율이 다른 문제 Mixed-regision variation 특성을 가지게 됩니다. 그 결과, 양성이 매우적은 경우에도 마치 학습해서 봤던 것처럼 강하게 예측(over confidence)로 예측하게됩니다. 이런 상황은 딥러닝을 이용한 디지털병리에서 실제 사용하기에 매우 까다로운 문제가 됩니다.
이 논문에서는 실제로 이렇게 있을만한 mixed-variation property을 만들어내 soft-label dataset으로 활용하기 위함입니다
방법론: Mixed-Patch
이 방법론은 미니배치로 사용하는 패치를 Augmetnation하고 label도 augmented label(soft label)을 사용하는 것이 핵심입니다. 논문에서는 x_mixed, y_mixed라고 표현했습니다. 이 Augmentation된 이미지를 mini-patch라고 일컫습니다. 미니 패치는 원래 패치이미지를 다시 작은이미지로 split하고, 랜덤으로 섞고, 선택해서 조합(concat)하여 패치사이즈와 같게 학습되는 형식입니다. 예를들어, 패치이미지가 128x128이었다면, 이 논문에서는 64x64의 미니패치들을 만들고, 이를 4개를 접합(concat)하여 또다른 하나의 패치를 만드는 형식으로 진행한 것입니다. 이를 x_mixed라고합니다.
한편, 라벨은 소프트라벨을 주려고 했기에, 양성(비정상)으로부터 만들어진 미니패치가 있다면 0.5~1.0사이의 라벨을 주려고했습니다. 0.5~1.0사이의 수치중 mini 패치의 비율을 사용했습니다.
학습과정에서는 손실함수를 2가지로 나눕니다. 원래이미지와 Augmentation이미지에 적용할 각각의 손실함수입니다. 식 (1)은 원래 이미지에서 KL divergence입니다. (2)식은 Augmented된 이미지(Mixed-patch)에 대한 KL divergence입니다. 식 (3)은 (1)과 (2)의 가중합입니다. (1)과 (2)의 데이터셋 비중이 다르기에 이를 적절한 r로 처리하구요. (1)식은 BCE가아닌 (2)과 같은 KL로 학습했습니다.
결과: 동일한 네트워크로 Mixed Patch의 성능이 유리함.
이 논문에서는 MixedPatch의 효과를 평가하기위해 베이스라인, LS(label smoothing), cut, cut mix, mix patch을 보여줍니다. 앞의 4개의 방법론은 밴치마크로 사용됩니다.
베이스라인은 그냥학습하는 방법론을; LS은 학습시 confidence에대한 정규화를 하는방법론(https://analytics4everything.tistory.com/263, 포스팅참고하세요), cut, cut mix은 각각 다른 부분은 잘라내어 덛대거나 덛대지않거나하는 차이입니다. 추가로 cutmix은 mislabel을 줍니다. 예를 들어, 정상이미지에 비정상일부이미지를 잘라붙이는 방법론입니다.
분류성능상에서는 MixPatch가 가장좋았고, calibration plot을 그려봐도 cutmix와 유사하게 비슷한 성능을 보입니다.
종합적으로 정확도, 민/특, AUROC, ECE가 가장 우수한것이 MixedPatch였내요.
결론
요약하면, 실제 WSI이미지에서 Ground truth로 annotation케이스와 real-case을 줄이기위해서 data augmentation전략(MixedPatch)을 사용하고, 이에 맞게 손실함수를 각각 원본데아터+증강데이터를 혼합하여 학습한 방법입니다.