moco learning rate 301 MoCo (Momentum Contrast for Unsupervised Visual Representation Learning) PreliminaryPositive sample: Origin이 동일한 이미지(또는 데이터포인트)Negative sample: Origin이 다른 이미지(또는 데이터포인트)Dictionary look-up task: 여기서는 contrastive learning을 의미합니다. Query image에서 하나의 positive이미와 나머지 (N-1)개의 negative이미지와 유사도를 계산하는 과정이기에 k-value와 같은 dictionary구조라고 일컫습니다.InfoNCE: InfoNCE은 미니배치 K+1개에서 1개의 positive sample을 찾는 softmax 함수 + temperature scale추가 Methods: 딕셔너리 사이즈를 키워 negative samples을 포함할 수 있으면 좋은.. 2024. 9. 11. 이전 1 다음
