본문 바로가기

Best Paper review/Others19

Class-Balanced Loss Based on Effective Number of Samples https://openaccess.thecvf.com/content_CVPR_2019/papers/Cui_Class-Balanced_Loss_Based_on_Effective_Number_of_Samples_CVPR_2019_paper.pdf 요약Balanced CrossEntropy(=weigthed CE)에서의 가중치가 빈도수의 역수로 들어가면 과하게 들어가서 성능이 안좋음. 유효수를 이용하여 좀 더 이론적으로 타당하고 부드러운(re-smooth된) re-weight 을 하자\Motivation 현실 세계의 데이터들은 대부분 클래스 분포가 균형을 이루지 않고, 몇 개 클래스에 많은 샘플이 몰리고 나머지 클래스는 적은 샘플을 가진 long-tailed 분포를 갖게이런 분포 하에서 학습된 모델은 다수 클.. 2025. 11. 14.
RankMe: Assessing the Downstream Performance of Pretrained Self-Supervised Representations by Their Rank ICML 2023 MotivationSSL의 대부분(SimCLR)은 라벨없이 학습하고, 학습이 잘되었는지 아닌지를, 라벨/튜닝(라벨)에 의존했음라벨을 이용해서, Linear probing으로 확인하는 작업을 주로 했고, 라벨없는 경우 확인하기 어려움라벨없이도 표현의 품질을 가늠하고, 튜닝이 필요없는 지표를 제안"임베딩의 유효랭크"가 다운스트림 테스크에 영향랭크(Rank, 계): 서로 독립인 축의 방향 (=SVD의 0이 아닌 특이값의 계수) 방법론용어정리: Representation (인코더의 출력), 프로젝터(MLP). 프로젝터의 출력이 임베딩(embeddings)입력: 데이터셋에서 임베딩 행렬 $Z \in \mathbb{R} ^{N \times K}$ (25,600개도 OK)Z의 특이값 계산 $\si.. 2025. 9. 2.
[5분 컷 이해] Chebyshev Polynomial-Based Kolmogorov-Arnold Network SS, S., AR, K., & KP, A. (2024). Chebyshev polynomial-based kolmogorov-arnold networks: An efficient architecture for nonlinear function approximation. arXiv preprint arXiv:2405.07200. (https://arxiv.org/pdf/2405.07200) Motivation기존 MLP 기반 신경망은 3가지 한계점을 지님비효율적인 파라미터 사용: 비선형함수를 근사하기위해서, 파라미터 수를 많이 증가시켜야함.고정된 비선형성: 비선형을 만들기위해서 MLP와 고정된 activation function을 사용하는데, 복잡한 패턴을 표현하기 어려움해석불가능해결과제Kolomogor.. 2025. 6. 14.
라벨 스무딩(Label smoothing)이 노이즈라벨에 도움이되나? Does label smoothing mitigate label noise? 요약1. 라벨스무딩이 실험적으로 노이즈 기법들과 비슷한 성능을 보임2. 지식증류에서 학습데이터에 노이즈가 포함되어있는 경우에도 향상될 수 있음Lukasik, M., Bhojanapalli, S., Menon, A., & Kumar, S. (2020, November). Does label smoothing mitigate label noise?. In International Conference on Machine Learning (pp. 6448-6458). PMLR. Motivation라벨스무딩은 정답 라벨을 0또는 1로 주는것이 아니라, [0, 1]사이의 값으로 만드는 작업입니다.보통, 라벨스무딩이 정규화작업과 유사하기에(=한 쪽으로 강하게 학습되지 않도록 제어), 일반화 성능이 올라가고 모델 켈리.. 2025. 2. 25.
CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances 요약SimCLR에서는 Instance discrimiation이 학습목적으로 원본이미지를 서로 다른 증강방법을 이용해도, 서로 같은 임베딩이 되게끔 유도한다. CSI은 SimCLR방법과 매우 유사한데, 원본이미지를 증강한 경우만 OOD(Out Of Distribution)으로 학습하는 방법이다. 이미지 증강방법들의 집합 $S:=\{S_{0}, S_{i}, ..., S_{K-1}\}$동일 이미지 반환: $I=S_{0}$ 여러 이미지 증강방법S로부터 하나를 뽑아, 이미지 모든 이미지를 증강하고(원본반환 포함)이를 SimCLR을 돌림. 이 과정을 여러 증강방법에 대해서 반복함. 추가적인 학습 테스크로, 증강된 이미지가, 어떤 증강방법으로 이용되었는지를 분류하는 방법도 진행 최종학습 Objective은 증강에 .. 2024. 12. 10.
[5분 컷 이해] DRIT++: Image to image translation 리뷰 Image to image translation은 두 이미지 사이의 연관성을 학습하는 방법입니다. 보통은 1) 두 이미지의 짝을 지은 데이터가 가 구하기 어려워서 image to image을 하기 어렵고, 2) 한 이미지를 꼭 반드시 하나의 이미지에만 짝을 지을 필요가 없어 데이터 구성이 매우 어렵습니다. 위의 1), 2)의 예시인데, 이렇게 이미지를 짝을 지어야하는 경우에 이 데이터를 짝짓기도 어렵고, 짝을 짓더라도 다양한 경우가 많아서 golden standard로 짝을 지었다고 보장하기 어렵습니다.  방법론DRIT++은 2개의 임베딩을 나눠 만들어내는데, 1) domain invariant content space, 2) domain-specific attribute space 을 나눠 만들어냅니다.. 2024. 7. 15.

티스토리툴바