SATRN ( Shallow CNN part )

[Dongbin-Lee-git]

SATRN에 CNN part에 Attention을 어떻게 넣을 수 있을까 해서 보던중에

위와 같은 구조로 Shallow CNN이 들어있더라구요

SATRN이 SAR이랑 다른점이 LSTM -> Transformer 뿐만 아니라, CNN part가 ResNet에서 Shallow CNN으로 바뀐 부분도 다르네요!

SATRN 논문에서 이 부분에 대한 설명이 나오는데요. deep한 features를 뽑는 것 보다 직관적으로 보이는 질감, 패턴들만 뽑아내서 sequential한 data를 아래의 transformer part에서 deep하게 보는 구조인거 같아요!

저희가 NLP에서 Transformer를 사용할 때, input data를 정제하고 augmentation을 통해 여러 변환을 거쳐 input에 대해서 조절하듯이, CNN + Transformer에서도 CNN output이 Transformer Input이기 때문에 CNN layer에 대한 tuning도 중요할 것 같아요.

Shallow CNN 관련 논문을 찾다가 설명이 어느정도 잘되어있는 논문을 보면 저희꺼랑 비슷하게 이해할 수 있는 이미지가 있더라구요.

( https://link.springer.com/content/pdf/10.1007/s12559-020-09775-9.pdf )

여기에서 조금 더 발전된 Deep Shallow CNN 관련 논문입니다.
( https://arxiv.org/ftp/arxiv/papers/1803/1803.00663.pdf )

저희 SATRN CNN part Code 를 보면 아래와 같이 구성이 되어있고, Deep Shallow가 아닌 그냥 Shallow CNN으로 구성되어진 것 같아용 ㅎㅎ.. ( 아마도..? )

---

🌟 결론으로 여러 시도를 해볼 수 있다고 생각했어요!

• Attention 추가

  • 물론 CNN output을 positional Encoding 을 거친후에 Transformer input으로 들어가긴 하지만 그 이전의 layers에 Attention을 줄 수는 없을까 ? -> Attention Resnet
  • Shallow에 attention을 추가해서 조금 더 texture, pattern을 잘 뽑아낼수 있지 않을까요..?

• Pretrained CNN

  • Shallow CNN이 처음부터 학습하기에는 SATRN에서는 Resnet보다 좋을 수는 있지만, 만약 Pretrained Resnet, Efficientnet 으로 학습을 한다면 더 좋지 않을까? -> timm
  • 만약 여기서 너무 deep해지는 문제가 발생한다면 feature extraction 전체 layer의 1/3, 1/4 쯔음에서 Texture, pattern정도를 뽑아내는 부분까지만 가져온다면 Shallow CNN을 쓰는 목적과 비슷하게 적용할 수 있지 않을까요..?

• Deep-Shallow CNN

  • 지금 Shallow CNN으로 구성이 된 part를 Deep-Shallow CNN으로 바꾸게 된다면 더 좋지 않을까요..?

---

➕ 어제 공유했던 논문 중, OCR에서는 너무 Deep 해질수록 더 안좋은 결과가 나올 수도 있다는 점도 감안하면서 보면 좋을 것 같아요.

➕ Shallow CNN에 대해서 찾던중에 Grayscale에 대한 내용이 종종 나오더라구요. GAN 성공하겠습니다 ㅎㅎ

➕ 만약 Grayscale pretrained CNN backbone을 찾을 수 있다면 더 좋을 거 같아요!