batch nomarlization

[xown3197]

Batch Nomarlization

• 이전에 사용하던 정규화는 모델에 데이터가 주입되기전에 적용되었습니다. 미리 정규화되어 모델에 주입되던 정보가 층에 들어가더라도 동일한 분포를 유지한다라고 기대하기는 힘들어집니다. 그렇기에 훈련 과정 중 배치데이터에 맞혀 정규화를 하는 배치 정규화가 나왔습니다.
• 훈련 과정에 사용된 배치 데이터의 평균과 분산에 대한 지수 이동 평균을 내부에서 유지하여, 적응하여 데이터를 정규화합니다.
• Vanish gradient, Over fitting을 막아주는 역할을 합니다.
• 가중치의 값이 정규화로 작아지지 않아 학습 속도가 증가합니다.

코드

keras.layers.BatchNormalization()

참고 자료

참고
참고