- Capstone design 2021-2
- ์ํํธ์จ์ด์ตํฉํ๊ณผ 2019102130 ์ ์ธ์ฐ
- Needs, problems
๋ค์ด๋ฒ CLOVA OCR์์ ์งํํ๋ โ๋์ ์๊ธ์จ๋ก ํฐํธ ์ ์ํ๊ธฐโ ํ๋ก์ ํธ๋ฅผ ๊ณ๊ธฐ๋ก ์์ ์ ๊ธ์จ์ฒด๊ฐ ํฐํธ๋ก ์ถ๋ ฅ๋๊ฒ ํ๋ ๊ฒ์ ๊ด์ฌ์ด ์๊ฒผ๋ค. ํ๊ธ์ ์ด์ฑ, ์ค์ฑ, ์ข ์ฑ์ด ๊ฒฐํฉ๋ ํํ๋ก ์ด 3192๊ฐ์ ์์ ์ ์์ฑํด๋ผ ์ ์๋ค. ํ์ค์ ์ผ๋ก ์๊ธ์จ๋ฅผ ํฐํธ๋ก ๋ง๋ค๊ธฐ ์ํด์๋ ์ด ์๋ง์ ์์ ์ ๋ํ ์๊ธ์จ๋ฅผ ๋ชจ๋ ์ ๋ ฅ ๊ฐ์ผ๋ก ๋ฃ์ง ์๊ณ ๋ ํฐํธ๋ฅผ ๋ง๋ค์ด๋ผ ์ ์์ด์ผ ํ๋ค. ์ด๋ ๋ณด๋ค ์ ์ ์์ ์์ ์ด๋ฏธ์ง ์ ๋ ฅ์ผ๋ก๋ ํ์ต์ด ์ ์ด๋ฃจ์ด์ง ์ ์๋๋ก ํ๋ ์๊ณ ๋ฆฌ์ฆ์ ๊ฐ๋ฐํ๊ธฐ ์ํ ์๋๊ฐ ์ด๋ฃจ์ด์ง๊ณ ์๋ค. - Goals, objectives (evaluation)
ํ๋ก์ ํธ์ ์ฅ๊ธฐ์ ์ธ ๋ชฉํ๋ ์๊ธ์จ๋ฅผ ์ ๋ ฅํ์ฌ ํฐํธ๋ฅผ ์ ์ํ์ฌ ์ฃผ๋ ์์คํ ์ ๋ง๋ค์ด๋ด๋ ๊ฒ์ด๋ค. ์ฌ๋ฌ ์ข ๋ฅ์ ํฐํธ๋ก ๊ตฌ์ฑ๋ ์์ ์ด๋ฏธ์ง ๋ฐ์ดํฐ๋ฅผ ํตํด ๋ชจ๋ธ์ ํ์ต ์์ผ์ ์๊ธ์จ๋ฅผ ์ ๋ ฅ ๋ฐ์ ํฐํธ๋ฅผ ์๋กญ๊ฒ ์์ฑํด์ฃผ๋ ๋ชจ๋ธ์ ์์ฒด์ ์ผ๋ก ๊ตฌํํด ๋ณธ๋ค.
ํ๋ก์ ํธ์ ์ฅ๊ธฐ์ ์ธ ๋ชฉํ๋ ์๊ธ์จ๋ฅผ ํ์ตํ์ฌ ํฐํธ๋ฅผ ์ ์ํด์ฃผ๋ ์์คํ ์ ๋ง๋๋ ๊ฒ์ด๋ค. ๋ค์ํ ํฐํธ์ ์์ ์ด๋ฏธ์ง๋ฅผ ์์งํ๊ณ ์ด๋ ๊ฒ ์์งํ ์์ ์ด๋ฏธ์ง ๋ฐ์ดํฐ๋ฅผ ์ ๋ ฅ์ผ๋ก ๋ฃ์ด ๋ชจ๋ธ์ ํ์ต์ํจ๋ค. ๊ธฐ์กด์ ๋ชจ๋ธ์ด ์์ฑํ๋ ์๊ธ์จ ํฐํธ์ ์ค์ ์๊ธ์จ์ ์ ์ฌ๋๋ฅผ ๋ฐํ์ผ๋ก ์ฑ๋ฅ์ ํ๊ฐํ ํ์ ์ถ๊ฐ์ ์ธ ์์ ์ ํฌํจํ ๋ชจ๋ธ์ ์ฑ๋ฅ์ ๋น๊ตํ์ฌ ํ์์ ๋ชจ๋ธ์ด ๋ ์ข์ ์ฑ๋ฅ์ ๋ณด์ด๋๋กํ๋ ๊ฒ์ด ๋ณธ ํ๋ก์ ํธ์ ๋ชฉํ์ด๋ค. ๊ธฐ์กด์ ๋ชจ๋ธ์ ๊ฒฐ๊ณผ๋ฌผ์ ์๋ณธ ์์ค์ฝ๋์ ๊ฒฐ๊ณผ๋ฌผ์ ๊ธฐ์ค์ผ๋ก ์์ธกํด๋ณด์์ ๋, ํฐํธ๊ฐ ๊น๋ํ๊ฒ ์ถ๋ ฅ๋์ง ์๊ณ ๋ ธ์ด์ฆ๊ฐ ๋ง์ ๊ฒ์ ํ์ธํ ์ ์๋ค. ๋ฐ๋ผ์ ํฐํธ๊ฐ ๊น๋ํ๊ฒ ์ถ๋ ฅ๋๋๋ก ํ์ฒ๋ฆฌ ์์ ์ ์ถ๊ฐํ์ฌ ํฅ์๋ ์ฑ๋ฅ์ ๋ณด์ด๋ ๋ชจ๋ธ์ ์์ฑํ ๊ณํ์ด๋ค.
Contents | September | October | November | December |
---|---|---|---|---|
๋ฐ์ดํฐ ์์ง | V | |||
๊ฐ๋ฐํ๊ฒฝ ๊ตฌ์ถ | V | |||
๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ | V | |||
์ฌ์ ํ์ต๋ชจ๋ธ ๊ตฌํ | V | V | V | |
์ฑ๋ฅ ํ๊ฐ | V | |||
์ฑ๋ฅ ๊ฐ์ | V | |||
๋ฐ์ดํฐ ํ์ฒ๋ฆฌ | V | |||
๊ฐ์ ์ฌ๋ถ ํ์ธ | V |
- Google Colaboratory
- pytorch
- model : GAN (zi2zi - Unet)
- training data : ์ ์๊ถ ์๋ ํฐํธ 20๊ฐ์ง (์ต์ข ๋ชจ๋ธ ์ฌ์ ํ์ต ๊ธฐ์ค)
-
๋ฐ์ดํฐ
Pre training ๊ณผ์ ์์ ์ฌ์ฉํ ํ์ต ๋ฐ์ดํฐ๋ ์ ์๊ถ์ด ์๋ ํฐํธ 20๊ฐ์ง๋ฅผ ์ฌ์ฉํ์๋ค. ttfํํ์ ํฐํธ ํ์ผ์์ ์์ ์ ์ด๋ฏธ์ง๋ก ์ ์ฅํ๋ ์์ ์ ๊ฑฐ์ณ ๋ชจ๋ธ์ด ์ด๋ฏธ์ง๋ฅผ ํ์ตํ๊ณ ์ด๋ฏธ์ง๋ฅผ ์์ฑํ๋ ํํ๋ก ํ์ต์ ์งํํ์๋ค. ์ดํ transfer learning์์ ํ์ตํ ์๊ธ์จ๋ ์ง์ ์์ฑํ์๋ค. ํ์ตํ๋ ๋ฐ์ดํฐ๋ ํ์ตํ๋ ค๋ ํฐํธ/์๊ธ์จ ์ด๋ฏธ์ง์ ์์ ๋ด์ ์ด์ฑ, ์ค์ฑ, ์ข ์ฑ์ ์์น ๊ด๊ณ๋ฅผ ํ์ตํ ์ ์๋ ๊ณ ๋์ฒด ์์ค ์ด๋ฏธ์ง๋ฅผ ๋๋ํ ๋์ ํํ๋ก ๊ตฌ์ฑํ์๋ค. ๊ฐ๋ณ ํ์ต ๋ฐ์ดํฐ ์์๋ ๋ค์๊ณผ ๊ฐ๋ค.
์์ ๋ฐ์ดํฐ์์ ์์ ์ด๋ฏธ์ง์ ํด๋นํ๋ ๋ถ๋ถ ๋ง์ cropํ์ฌ ์ฌ์ด์ฆ๋ฅผ ๋์ผํ๊ฒ ์กฐ์ ํ๊ณ ์ฌ๋ฐฑ์ ์ถ๊ฐํ์ฌ ๋ชจ๋ ์์ ์ด๋ฏธ์ง๊ฐ ์ ์ฌํ ํฌ๊ธฐ๋ก ์ค์์ ์์นํ๋๋ก ๋ชจ๋ธ์ ๊ตฌ์ฑํ์๋ค. -
๋ชจ๋ธ ํ์ต ๊ฒฐ๊ณผ ๋ฐ ๋น๊ต
-
๊ธฐ์กด์ ๋ชจ๋ธ ํ์ต ๊ฒฐ๊ณผ
Pre-training ๊ฒฐ๊ณผ๋ฌผ
๋ ธ์ด์ฆ ์ ๊ฑฐ, ๋๋น ๊ทน๋ํ, ํ ๋๋ฆฌ ์ ๊ฑฐ ๋ฑ์ ์์ ์ ํตํด ๋ณด๋ค ๊ฐ์ ๋ ๊ฒฐ๊ณผ๋ฌผ์ ์ป์ ์ ์์ ๊ฒ์ด๋ผ ์๊ฐํ์ฌ, ์ด๋ฅผ ๋ฐํ์ผ๋ก ์ฑ๋ฅ ๊ฐ์ ์์ ์ ์งํํ์๋ค.
์ค์ ์๊ธ์จ ํ์ต ๊ฒฐ๊ณผ๋ฌผ
์๊ธ์จ๋ฅผ ํ์ตํ ๊ฒฐ๊ณผ๋ฌผ์ ๊ฒฝ์ฐ ์ด๋ค ์์ ์ธ์ง ์์๋ณผ ์ ์๋ ํํ์ธ ๊ฒฝ์ฐ๊ฐ ๋ง์ ๊ฒ์ ํ์ธํ ์ ์๋ค. ์ด๋ฅผ ๊ฐ์ ํ๊ธฐ ์ํด ๋ฐ์ดํฐ์ ์ ์๋ก ๊ตฌ์ฑํ๊ณ ๋ชจ๋ธ์ ํ๋ผ๋ฏธํฐ ์กฐ์ ์ ํ์๋ค. -
์ฑ๋ฅ ๊ฐ์ ํ ๋ชจ๋ธ ํ์ต ๊ฒฐ๊ณผ
์ฑ๋ฅ ๊ฐ์ ์ ์ํด ๋ชจ๋ธ ํ๋ผ๋ฏธํฐ ์กฐ์ ์ ํ์๋ค. ๋ํ ์ด์ ์ ๋ชจ๋ธ์์ 40๊ฐ์ง์ ํฐํธ๋ก ์ฌ์ ํ์ต ์์ผฐ์ ๋์ ์ฑ๋ฅ์ด ๋งค์ฐ ๋จ์ด์ ธ์ ํ์ต ๋ฐ์ดํฐ์ ์ ์๋กญ๊ฒ ๊ตฌ์ฑํ์๋ค. 20๊ฐ์ง์ ํฐํธ๋ก ๊ฐ ํฐํธ๋ง๋ค 2000๊ฐ์ง์ ์์ ์ ๋๋คํ๊ฒ ์ถ์ถํ์ฌ ํ์ตํ๊ฒ ํ์๋ค. ๋ ๋ ธ์ด์ฆ ์ ๊ฑฐ, ๋๋น ๊ทน๋ํ, ํ ๋๋ฆฌ ์ ๊ฑฐ ๋ฑ์ ํ์ฒ๋ฆฌ ์์ ์ ์ถ๊ฐํ์๋ค.
๋ ์ฌ์ ํ์ต ๋จ๊ณ์์ L1 loss๋ฅผ ํตํ ํ์ต์ 250 epoch, constant loss๋ฅผ ํตํ ํ์ต์ 300epoch ์งํํ ๋ชจ๋ธ์ ์ฑ๋ฅ์ด ๊ฐ์ฅ ๋์ ์ด ๋ชจ๋ธ๋ง ์ ํํ์ฌ ์๊ธ์จ ํ์ต์ ์งํํ์๋ค.
์ฑ๋ฅ ๊ฐ์ ์ ์ํด ๋ชจ๋ธ ํ๋ผ๋ฏธํฐ ์กฐ์ ์ ํ์๋ค. ๋ํ ์ด์ ์ ๋ชจ๋ธ์์ 40๊ฐ์ง์ ํฐํธ๋ก ์ฌ์ ํ์ต ์์ผฐ์ ๋์ ์ฑ๋ฅ์ด ๋งค์ฐ ๋จ์ด์ ธ์ ํ์ต ๋ฐ์ดํฐ์ ์ ์๋กญ๊ฒ ๊ตฌ์ฑํ์๋ค. 20๊ฐ์ง์ ํฐํธ๋ก ๊ฐ ํฐํธ๋ง๋ค 2000๊ฐ์ง์ ์์ ์ ๋๋คํ๊ฒ ์ถ์ถํ์ฌ ํ์ตํ๊ฒ ํ์๋ค. ๋ ๋ ธ์ด์ฆ ์ ๊ฑฐ, ๋๋น ๊ทน๋ํ, ํ ๋๋ฆฌ ์ ๊ฑฐ(์์ ์ด๋ฏธ์ง crop) ๋ฑ์ ํ์ฒ๋ฆฌ ์์ ์ ์ถ๊ฐํ์๋ค.
์ค์ ์๊ธ์จ ํ์ต ๊ฒฐ๊ณผ๋ฌผ ์๊ธ์จ๋ฅผ ์ด๋ฏธ์ง๋ก ํ์ตํ์ฌ ๋ชจ๋ธ์ด ๋ง๋ค์ด๋ธ ์์ ์ด๋ฏธ์ง ๊ฒฐ๊ณผ๋ ๋ค์ ์ฌ์ง๊ณผ ๊ฐ๋ค. ์๋ ์ด๋ฏธ์ง๋ ์์ฐจ์ ์ผ๋ก ๋ชจ๋ธ์ ๊ฒฐ๊ณผ๋ฌผ, ํ์ฒ๋ฆฌ ํ ๊ฒฐ๊ณผ๋ฌผ, ์ค์ ์๊ธ์จ์ด๋ค. (์๊ธ์จ ์ด๋ฏธ์ง์ ๊ฒฝ์ฐ ์ง์ ์์ฑํ ๊ธ์จ ์ด๋ฏธ์ง๋ผ์ ์๋ณธ์ ํ์ง์ด ๊ฒฐ๊ณผ๋ฌผ๋ณด๋ค ๋์)
-
์๊ฐ ์์ ๋ฌธ์ ๋ก ์ฌ์ ํ์ต ๋จ๊ณ์์ ์ด 550, transfer learning์์ 2950 epoch์ ํ์ต ์์ผฐ๋๋ฐ, ๋ ํ์ต ์ํจ๋ค๋ฉด ์ด๊ธฐ ๋ชจ๋ธ ๊ฒฐ๊ณผ๋ฌผ์ด ๋์ฑ ์ข์๊ฒ์ผ๋ก ์์๋๋ค. ๋ํ ์ฌ์ ํ์ต ๋ฐ์ดํฐ์ธ ํฐํธ์ด๋ฏธ์ง๋ฅผ ๊ตฌ์ฑํ ๋์ ์ ์๊ถ์ ๋ฌธ์ ๊ฐ ์๋ ํฐํธ๋ฅผ ํตํด ํ์ต์ ์ํค๋ค ๋ณด๋, ์๊ธ์จ์ ์ ์ฌํ ํํ์ ํฐํธ๊ฐ ์ ์๋ค. ์ด ๋๋ฌธ์ ์๊ธ์จ๋ฅผ ํ์ตํ ๋ ๋ชจ๋ธ์ ์ฑ๋ฅ์ ๋์ด๋ ๊ฒ์ด ์ด๋ ค์ ๋ค๊ณ ํ๋จ๋๋ค. ํ์ต ๋ฐ์ดํฐ์ ์ ํฐํธ๋ฅผ ๊ณ ๋, ๋ฐํ์ฒด์ ์ ์ฌํ ํฐํธ๊ฐ ์๋๋ผ ์ข ๋ ๋ ํนํ ํํ์ธ ๊ธ์จ๋ก ํ์ต์ ์ํจ๋ค๋ฉด ๋ ์ข์ ๊ฒ์ด๋ผ ์๊ฐํ๋ค. ์์ํ ๊ฒ ๋งํผ์ ์ฑ๋ฅ ๊ฐ์ ์ ํ์ง๋ ๋ชปํ์ง๋ง ๊ธฐ์กด ๋ชจ๋ธ์ด ๊ฐ์ง ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ๊ณผ์ ์์ ์ผ์ ์ด ๋ง์ด ๋ณ๊ฒฝ๋์ด, ํฅํ ๋ชจ๋ธ์ ๋ ๊ฐ์ ํ ๊ณํ์ ๊ฐ๊ณ ์๋ค. ๋ชจ๋ธ์ด ํ์ตํ๋ ๋ฐ์ดํฐ๋ฅผ ๊ตฌ์ฑํ๋ ๊ณผ์ ์ ๊ฐ์ ํ๊ณ ์ฌ์ฉํ๋ ๋ฐ์ดํฐ๋ฅผ ์๊ธ์จ์์ ์ฐ๊ด์ฑ์ด ๋์ ํฐํธ๋ก ๊ตฌ์ฑํ ์ ์๋๋ก ํ ์์ ์ด๋ฉฐ ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ ๊ณผ์ ์ ์ถ๊ฐํ๊ณ data augmentation ๊ณผ์ ์ ์ถ๊ฐํ๋ ๋ฑ์ ๋ฐฉ์์ผ๋ก ๋ชจ๋ธ ์ฑ๋ฅ์ ๋ ํฅ์์ํค๊ณ ์ ํ๋ค.