본문 바로가기

Data science/Deep learning11

[5분 컷 이해] Probability calibration 설명 요약 확률 보정(Probability calibration)은 실제 데이터로 사건이 발생할(=분류할) 이벤트가 확률값처럼나오도록 하는 과정을 의미한다. 가령, 기상청에서 쓰는 강수확률모델이 강수확률이 80%이면, 기상조건이 같은 날짜만 모아서 예측한 경우, 80%만 비가왔어야한다. 이렇듯, 모델이 반환하는 확률값이 (정확히는 확률은 아니지만, 일종의 신뢰도 역할을 한다), 신뢰도 역할을 잘 잘 할 수 있도록 하는 작업을 확률 보정(Probability calibration)이라고 한다. 서론 Sklearn 공식 도큐먼트를보면 1.16에 Probability calibartion에 대해 소개가 되어있다 [1]. ML모델로 얻은 확률(.predict_proba로 얻은 확률)은 우리가 실제로 확률처럼 쓸수 있.. 2022. 9. 14.
5분 이해: 텐서플로우 역전파(Backpropagation) 사용 역전파알고리즘은 1986년 데이비드 등이 개발한 알고리즘이다. 핵심은 "은닉 유닛(hidden unit)이 무엇을 해야하는지는 모르지만, 은닉층의 활성도를 바꿀때 얼마나 빨리 오차가 변하는지는 계산할 수 있다". 반환되는 Outcome $\hat{y}$가 변화할 때, 오차율(E)가 얼마나 변화할 것인지를 다음과 같이 미분식을 이용해보자. 아랫첨자 j은 데이터포인트이다. $\frac{\delta E}{\delta W_{1}} = \frac{\delta E}{\delta o_{1}} \frac{\delta o_{1}}{\delta z_{1}} \frac{\delta z_{1}}{\delta_{W_{1}}}$ 첫번째 곱인 $\frac{\delta E}{\delta o_{1}}$ 은 MSE와 구하는 공식이 같아.. 2021. 6. 8.
Machine learning 분류 Machine learning 관련 페이퍼를 보다보면, supervise, semi-supervise, reinforcment, 등의 용어는 흔히 들어봐서 이해하지만, inductive, transductive, self-supervised 등은 약간 낯설기도하다. 비슷한 개념인것같은데 분류방식에 의한 방법으로 생각되어 다음과 같이 정리해보았다. 1. 문제의 종류 따른 분류 - Supervised, - Unsupervised - Reinforment. 2. Statistical inference: inference은 학습한 기계학습모델이 주어진 관찰하지 않은 데이터(X, unseen data)을 예측하는 작업을 의미한다. 아래의 3가지 작업에 "Learning", 과 "Inference"을 꼭 구분하여 .. 2021. 5. 24.
Few shot learning 이란? Few-shot learning: 훈련데이터의 수가 매우 제한적인 상황에서 AI모델을 개발하려는 기술 또는 알고리즘들을 의미함. 이 Few-shot learning은 상대적으로 적은 훈련데이터에서도 새로 입력값으로 주어지는 데이터(unseen data)을 잘 인식하고 분류하고자하는 노력하는 것임. 전통적인 AI의 트렌드와같이 매우 많은 데이터로, ML 모델을 구축하는것이 목표가아닌, 적은데이터에서 ML 모델을 구축하자는것이 핵심. Few-shot 접근법 데이터 레벨 접근법 파라미터 레벨 접근법 - 메타러닝 - 메타러닝의 아류 메트릭 러닝 Reference: www.unite.ai/few-shot-learning/ 2021. 4. 28.
CUDA Toolkit 설치, CentOS Driver/library version mismatch: 2.1 CUDA가 사용한 GPU인지 파악$ lspci | grep -i nvidia 2.2 시스템정보파악$ uname -m && cat /etc/*releasex84_64 인지 아닌지 알아야하고, OS버전이 무엇인지 확인한다. 필자는 CentOS7, x84_64 bit이다. 2.3 시스템이 gccc가 설치되어있는지 확인.gcc: CDUA Toolkit을 사용하기위한 컴파일러$ gcc --versiongcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-39)Copyright (C) 2015 Free Software Foundation, Inc.This is free software; see the source for copyin.. 2020. 10. 24.

티스토리툴바