PILGI Analog To Digital

📒Meeting Notes

🧑‍💻엔지니어 정보

📒개발 노트 링크

🐈github 링크

0. 선행 연구

• 네이버 SmartPlace
  • 그림, 수식 표현에 제한

• 구글

  문제점.pdf

  • 문단이 나눠지지 않음.
  • pdf는 인식이 잘 되지만 손 글씨는 잘 인식하지 못함.

1. 문제 정의

• 이름 : PILGI Analog To Digital

• IDEA :

  → 강의 듣는데 자신의 글씨를 알아볼 수 없다.

  → 깔끔하게 저장할 수 있는 model 필요!

• input : Image ( 수학 과제, 수업 필기)

• output : txt, LaTex, Image 별 다른 OUTPUT을 갖음

2. 구조

• 과정
  1. TEXT → (CHARCTER, CONTENT, 띄어쓰기 여부, 문단 바꾸기 여부)
     1. 글자 크기 DEFAULT
     2. 시작 위치 (x,y) 좌표에다가 해당 TXT 내용 뿌림.
  2. DRAWING → (X, Y, X_SIZE, Y_SIZE)
     1. DETECTION 모델
  3. LATEX CHARACTER ⇒ 실제 기호 1.
• DETECTOR 모델과, OCR 모델
  • DETECTION LAYER로 해당 PIXEL과 CLASS를 얻음
  • DRAWING CLASS의 경우, 그대로 저장.
  • CHARACTER CLASS의 경우, OCR 모델을

3. 모델의 차별점

• GAN을 이용한 Data Argumentation

• user 맞춤형, 약간의 overfitting

  • 루게릭 병

• Data Labeling 강의 수강

  

4. 테스트 및 배포

• OCR의 중간에 user가 feedback 가능하도록
• 나중에