호남 지역의 소외 계층인 청각장애인을 위한 언어 교육 플랫폼
사용자의 동작을 인식하여 해당 수어를 인공지능이 판단하고
비대면 맞춤 교육, 번역, 테스트와 같은 수어에 친숙해 질 수 있는 컨텐츠를 제공한다.
- 웹캠을 통한 실시간 데이터 전송으로 사용자의 동작을 인식할 수 있음
- 학습하기 페이지에서 화면에 나오는 영상물을 따라 동작하며 능동적으로 수어를 빠르게 배울 수 있음
- 테스트 페이지에서는 학습하기에서 배운 내용을 기반으로 수어를 맞추며 재미 요소와 함께 본인의 수어 실력을 판단할 지표로 활용할 수 있음
- 번역 페이지에서는 수어 동작에 따라 텍스트로 뜻이 번역되어 일반인과 의사소통에 사용할 수 있음
- 웹캠 사용
- 인터넷 연결
- 권장: Google Chrome 버젼 77 이상
- Python
- Flask
- Ajax
- Mediapipe
- Opencv
- JavaScript
- CSS
- Adobe XD
- Zeplin
git clone https://github.com/2022-oasis-hackathon/gae-to-the-gi-to-the-di.git
pip install -r requrements.txt
python app.py
- openCV를 이용한 영상 데이터 수집 코드가 들어있습니다.
수어 인식 모델 학습을 위한 사진 데이터를 모을 수 있습니다.
- LSTM 모델 가중치가 포함되어 있습니다.
수어 인식 모델의 성능향상을 위해 사용하실 수 있습니다.
- 서버와 클라이언트 통신이 실시간으로 이루어집니다.
서버의 성능에 따라 인식 속도의 차이가 있을 수 있습니다.
- 최호준 (hojunchoi0105@gmail.com) Github Id : choihj105
- 남지성 (skawltjd2000@naver.com) Github Id : namjiseong
- 양은성 (yang991202@gmail.com)
- 이장훈 (frank0129373@gmail.com)
-
학습 페이지에 사용된 영상의 링크는 국립국어원 주관 한국 수어 사전에 저작권이 있습니다.
-
MIT