LayerNorm LSTM

[Dongbin-Lee-git]

LayerNorm with LSTM

• 저희 RNN layer에 LayerNorm을 적용하면 성능이 더 향상 된다고 하네요.
  RNN에는 BatchNorm을 적용하면 안정성이 떨어져서 LayerNorm을 사용하고
  Tensorflow에서는 LayernormLSTM이라고 따로 레이어가 있지만,
  Pytorch는 torch.nn.Layernorm을 LSTM이후에 별개로 적어주어야 한다네요.

---

예시용으로 사람들이 추천한 github

• https://github.com/sordonia/zforcing/blob/master/model.py?fbclid=IwAR1MKWbNUsWLGXY68iYrTjZK1pohyLpNgRqsxOma0Ht5U0wxKwvhwnjBYKg#L64

Layer Norm에 관한 논문

• https://arxiv.org/pdf/1911.07013.pdf