Batch normlazation 추론모드1 Batch normalization 추론모드에서 사용? 사용이유: 훈련시에 internal covariate shift 훈련모드: 레이어가 미니배치 단위로 mean, std을 현재 미니배치단위마다 얻어와 각 채널별로 정규화해준다. 추론모드: 추론모드는 2가지 방법으로 사용될 수 있다. model.evaluate() 또는 prdict layer, model이 training=False인 경우 추론모드에서는 각 훈련모드에서 얻어진 평균과 std을 moving averrage하여 번환한다. moving_mean = moving_mean * momentum + mean(batch) * (1 - momentum) moving_var = moving_var * momentum + var(batch) * (1 - momentum) ma * (batch - self.mov.. 2021. 6. 1. 이전 1 다음
