gradient descent 쉬운 설명1 분류문제: Cross entropy 대신에 MSE을 쓸 수 있나? + 역전파 및 MLE해석 본 포스팅은 naver d2 이활석님의 발표자로를 글과 이해가 쉽도록 만든 Figure들로 재구성했음을 알립니다. 요약 MSE로 최적화하는 것과 MLE로 최적화 하는 것은 동치이다. sigmoid을 출력값으로 하는 경우 MSE로 최적화하는 것보다 CE로 하는 경우, 학습이 더 빨리 된다. 이는 activation function(sigmoid)의 도함수를 한 번 계산하지 않아도 되기 때문이다. 1. Backpropgation (역전파) 과정에 대한 가정(Assumption) 역전파알고리즘을 이용하기 위해서는 2가지 가정이 일단 필요하다 [1]. Average $E = 1/n \sum_{x}E_{x}$: $n$개의 training 데이터에 해당하는 각각의 $x$에 대한 손실함수의 합의 평균은 손실함수 전체.. 2022. 11. 23. 이전 1 다음
