SATRN hidden dimension 변경 실험

[lgj9172]

실험내용

• 기존 encoder와 decoder의 hidden dimension은 300
• 토큰의 갯수가 241개인데, 비교적 hidden dimension이 적은것으로 생각되어 encoder, decoder의 hidden dimension을 400으로 올려서 실험

결과

• 오히려 기존보다 더 낮은 성능을 보였음
• 특히, 학습 중간에 떨어지는 성능이 더욱 심해짐
• 학습에 사용되는 파라미터 수가 많아짐

결론

• hidden dimension을 증가시키는것은 모델 성능에 오히려 악영향을 끼쳤다.