An Interpretable Multilabel Deep Learning Framework for theSimultaneous Assessment of Multiple Indicators

 

 

연구팀이 주장하는 모델(AMMNet)

문제의 정의: Activity, Atropy, IM의 라벨이 하나 또는 복수개를 가질 수 있다고 함. 즉, Sydney system에서의 각 3가지 항목을 0, 1로 구분할 수 있는지, multi-label classification

 

방법론

---

Attention-Based Multi-Instance Multilabel learning Network (이하, AMMNet)

1. 특징화 작업: 2단계를 합침(Dual-Channel feature extration)

• CNN feature: Backbone(Resnet50, ImagNet pretrained), 출력(512-d) 
• Frequency domain feature: 주파수도메인의 특징 작업: 출력(512-d).
  • 왜 했을까? (논문에 기술되지 않았으나...)Resnet50은 공간적(local)패턴을 주로 학습하기 때문에, 주파수 도메인 특징(예, 텍스처, 구조적 패턴, 엣지)을 잘 반영 못했을 것 같으니까, 이 정보를 보완하기위해서 주파수도메인

위의 두 feature을 concat하여 활용합니다. 특징화 작업이 끝나면 출력은 1024차원이됩니다.

2. Attention network: 멀티브랜치로 적용

이 논문에서는 염증관련된 지표(3가지, Activty, Atropy, IM) 의 특징이 각각 다를 것이기 때문에, 각 브랜치로 예측하는것이 좋을것이라 예상함. AB-MIL을 기준으로 특징화 작업이 진행됨.

1. $h_{i}$: 입력차원(1024)을 512차원으로 축소 (식1). 패치의 집합은 $H$로 표기
2. Gated attention: tanh * sigm 꼴임 (식2), 각 클레스별로 gated attention을 구함 $a_{c}$로 구함
3. 슬라이드 특징($x_{slide, c} = Ha_{c,k}$): context vector을 클레스별로 구함.
4. 분류기: 각 해드에서 $W_{b,c}$을 곱하여서 1차원으로 떨굼. (여기서 2진분류임을 알 수 있음)

 

3. 패치레벨 목적함수: CLAM과 매우 유사. multi-task

• Attention score가 가장 높은 상위k개, 하위 k을 $H$로부터 추출
• 상위k개, 하위k개의 attention 점수를 갖는 특징에서 패치수준 라벨을 추출, 슈도라벨로 활용