본문 바로가기

분류 전체보기198

Gradient accumulation (그레디언트 누적) 요약Gradient Accumulation은 GPU 메모리 한계를 극복하면서 더 큰 배치(batch) 크기로 학습한 것과 동일한 효과를 내기 위해 사용하는 기법입니다. 문제: GPU 메모리 한계로 큰 배치를 한번에 학습할 수 없는 경우 발생해결방법작은 배치에서 계산된 loss을 gradient을 누적합니다. (=.backward()만 호출하면 gradient값이 더해집니다.)정해진 횟수(gradient accumulation step)만큼 누적되었다면 optimizer로 가중키를 업데이트 합니다.최종기울기가 큰 배치에서 한번에 처리한 결과와 동일하도록 각 loss을 gradient accumulation step만큼 나눠주어 스케일링합니다. 코드 스니펫아래와 같은 코드스니펫으로 사용될 수 있습니다. 주요.. 2025. 1. 22.
GitHub Actions 의존성 캐싱하기 GitHub Actions에서 Python 의존성 설치 시간을 단축하려면, 캐시(Cache)를 활용해서 이미 설치한 라이브러리를 재사용하도록 구성하는 방법이 가장 간단하고 효과적입니다. 특히 actions/cache를 이용해 pip가 내려받은 패키지를 캐싱해두면, 매번 새로 설치할 필요가 없어져 실행 시간이 크게 단축됩니다. 아래와 같이 케시 작업을 workflow내에 추가합니다. - name: Cache pip dependencies uses: actions/cache@v2 with: path: ~/.cache/pip key: ${{ runner.os }}-pip-${{ hashFiles('requirements-dev.txt') }} restore-keys: |.. 2025. 1. 17.
Learnable color space conversion and fusion for stain normalization in pathology images 설명 요약 Motivation1. 염색정규화(Stain normalization)은 타깃(target image, 또는 reference image)라고 불리는 이미지를 정하고, 이 타깃이미지에 맞춰서 소스이미지의 염색톤을 변화하는 것을 의미합니다.2. 그러나, 염색정규화에서 이런 타깃이미지를 선정하는 과정이 매우 작위적이고(=관찰자마다 다르며), 타깃이미지를 어떤 것을 고르냐에 따라 인공지능 모델의 성능이 크게 차이가 납니다(아래 Fig1은 어떤 이미지를 고르냐에따라서 성능이 크게 좌우된다는 예시를 표하기위한 그림입니다).Method: 염색정규화과정에 필요한 trainable parameters을 인공지능 모델에 포함하여 학습저자들은 데이터로부터 염색정규화에 필요한 파라미터를 모델에 추가합니다. 이 레이어명.. 2024. 12. 30.
CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances 요약SimCLR에서는 Instance discrimiation이 학습목적으로 원본이미지를 서로 다른 증강방법을 이용해도, 서로 같은 임베딩이 되게끔 유도한다. CSI은 SimCLR방법과 매우 유사한데, 원본이미지를 증강한 경우만 OOD(Out Of Distribution)으로 학습하는 방법이다. 이미지 증강방법들의 집합 $S:=\{S_{0}, S_{i}, ..., S_{K-1}\}$동일 이미지 반환: $I=S_{0}$ 여러 이미지 증강방법S로부터 하나를 뽑아, 이미지 모든 이미지를 증강하고(원본반환 포함)이를 SimCLR을 돌림. 이 과정을 여러 증강방법에 대해서 반복함. 추가적인 학습 테스크로, 증강된 이미지가, 어떤 증강방법으로 이용되었는지를 분류하는 방법도 진행 최종학습 Objective은 증강에 .. 2024. 12. 10.
TCGA diagnostic slide vs tissue slide 차이 Diagnostic slide: FFPE(Formalin-fixed Paraffin-embedded)한 슬라이드. Tissue slide: Frozen slide. 수술장에서 동TCGA에서 TS#, BS# 라고 표기주의: Diagnostic slide여도 Fronzen 처리 후에 FFPE하는 경우 Frozen permanent라고 부르려 그냥 FFPE하는 경우보다 dissection 등의 artifact가 더 있을 수 있음 2024. 12. 10.
TransMIL: Transformer based Correlated MultipleInstance Learning for Whole SlideImage Classification Motivation1. Vanillar Attention MIL은 IID(independent and identical distribution)에 기반하고 있어서, 패치별 연관성을 고려하지 못함.2. 이에 대한 대안으로 Transformer을 사용하는 경우도 계산량 때문에, 시퀀스 길이가 짧아야해서 WSI분석에는 적용이 어려움.예를 들어, 아래의 그림과 같이 Vanillar Attention인 경우(d), $\sum \alpha_{i} * h_{i}$와 같이 attention weight * instance embedding으로 가중합으로 하게되는데, 이때 attention weight은 i의 인스턴스만이고려된 가중치임(=attention weight은 attention score로 유래되고, i 인스턴.. 2024. 11. 18.

티스토리툴바