SATRN Backbone DenseNet에서 EfficientNet으로 변경

[lgj9172]

실험내용

• Network는 SATRN
• Backbone을 DenseNet에서 EfficientNetv2-L로 변경
• Pretrained 적용
• timm 라이브러리에서 가져와 classifier 부분 제거
• transformer와 차원수 일치(1280 → 300)

self.conv = timm.create_model('tf_efficientnetv2_l_in21ft1k', pretrained=True, num_classes=0, global_pool='')
self.trans1_norm = nn.BatchNorm2d(1280)
self.trans1_relu = nn.ReLU(inplace=True)
self.trans1_conv = nn.Conv2d(
    1280, 300, kernel_size=1, stride=1, bias=False  # 128
)

결과

• 학습 초기에는 Pretrained로 인해 기존보다 더 좋은 성능을 보였음
• 학습 중간에 불안정한 성능을 보임
• 최종적으로 기존보다 낮은 성능 결과

결론

학습 중간까지는 기존보다 더 좋은 성능을 보여주었고, 다른 하이퍼파라미터를 전혀 변경하지 않았으므로 일단 계속 사용해보기로 함