RankMe1 RankMe: Assessing the Downstream Performance of Pretrained Self-Supervised Representations by Their Rank ICML 2023 MotivationSSL의 대부분(SimCLR)은 라벨없이 학습하고, 학습이 잘되었는지 아닌지를, 라벨/튜닝(라벨)에 의존했음라벨을 이용해서, Linear probing으로 확인하는 작업을 주로 했고, 라벨없는 경우 확인하기 어려움라벨없이도 표현의 품질을 가늠하고, 튜닝이 필요없는 지표를 제안"임베딩의 유효랭크"가 다운스트림 테스크에 영향랭크(Rank, 계): 서로 독립인 축의 방향 (=SVD의 0이 아닌 특이값의 계수) 방법론용어정리: Representation (인코더의 출력), 프로젝터(MLP). 프로젝터의 출력이 임베딩(embeddings)입력: 데이터셋에서 임베딩 행렬 $Z \in \mathbb{R} ^{N \times K}$ (25,600개도 OK)Z의 특이값 계산 $\si.. 2025. 9. 2. 이전 1 다음
