Releases · boostcampaitech4lv23cv1/final-project-level3-cv-01

HEY-I Ver.2

HEY-I Ver. 1에서 느꼈던 한계점을 보완하기 위해 Ver. 2를 개발했습니다.
Facial Emotion Recognition / Pose Estimation 모델을 customize 했습니다.
- FER : Pytorch Lightning / EfficientNet B0 를 사용하여 학습했습니다.
  - 한국인 감정인식 데이터셋을 사용하여 실제 서비스 이용자인 한국인 얼굴에 맞는 감정 인식 모델을 학습했습니다.
- Pose Estimation : MMPose / ResNet50 을 사용하여 학습했습니다.
  - 수화 데이터셋을 사용하여 실제 서비스 데이터와 비슷한 상체 움직임이 많은 데이터를 사용하여 자세 인식 모델을 학습했습니다.
Multi Threading 을 통해 Inference 속도를 개선했습니다.
- Mutli Threading 을 도입하여 기존의 방법보다 약 2배 빠른 추론 속도를 기록했습니다.
Google Cloud Storage와 MongoDB에 데이터를 축적하고 AirFlow를 통해 추가적인 학습을 가능하도록 했습니다.
- 분석 영상에 대한 User Feedback을 받아서 사용자가 맞다고 생각하는 분석 영상을 이용하여 추가 학습을 시키고, 잘못 분석했다고 생각하는 영상은 따로 저장해 추가 Annotation 과정을 거친 후 학습을 시키는 Pipeline을 구축했습니다.

HEY-I Ver.1

프로토타입 모델을 통해 서비스의 실현 가능성을 알아보고자 했고, 추후 더 나은 서비스를 위해 어떤 점이 필요한지 느끼려 했습니다.

빠른 프로토타입 개발을 위해 학습이 필요 없는 API를 사용했습니다.

이를 통해 다음과 같은 한계점을 느꼈습니다.