Name	Name	Last commit message	Last commit date
parent directory ..
README.md	README.md
[E_16]SRGAN.ipynb	[E_16]SRGAN.ipynb

🔗프로젝트

프로젝트 파일이 열리지 않는다면 하기 링크 중 하나를 이용해주세요!
코랩 링크
Jupyter Notebook Viewer

E-16. 흐린 사진을 선명하게

Super Resolution을 사용하여 저해상도의 이미지를 고해상도의 이미지로 변환한다.

GAN은 정밀한 고해상도 이미지를 생성하기에 효과적이지만 시간이 오래걸린다는 특징이 있다.

Super Resolution(초해상화): 저해상도 영상을 고해상도 영상으로 변환하는 작업

픽셀: 디스플레이를 구성하는 가장 작은 단위

RGB: 빛의 3원색을 혼합하여 색을 나타내는 방식

해상도: 픽셀의 개수가 많을수록 선명해진다(고해상도).

CCTV 해상도 문제, 의료 영상 등에 효과적으로 사용될 수 있다.

ill-posed (inverse) problem: 1개의 저해상도 이미지에 대해 다수의 고해상도 이미지가 나올 수 있는 점
super Resolution 문제의 복잡도: 제한된 정보만을 이용해 많은 정보를 만들어내는 과정은 매우 복잡함 → 잘못된 정보 생성 가능성 증가
정량적 평가 척도와 사람의 시각적 관찰 평가가 잘 일치하지 않음

보간법(interpolation): 값을 알고 있는 두 점 사이 지점의 값이 얼마일지를 추정하는 기법.
많은 딥러닝 기반 Super Resolution 연구에서 결과를 비교하기 위해 수행

선형보간법(linear interpolation): 두 점 사이에 직선을 이용해 f(x)를 추정

이미지 출처

삼차보간법(cubic interpolation): 3차(cubic) 함수를 활용하여 f(x)를 추정. 선형보간법과 달리 네 개의 점을 참조

이미지 출처

쌍선형보간법(bilinear interpolation): 선형보간법을 2차원으로 확장시킨 것. 4(=2x2)개의 점 참조

쌍삼차보간법(bicubic interpolation): 삼차보간법을 2차원으로 확장시킨 것. 16(=4x4)개의 점을 참조

Super Resolution Convolutional Neural Networks.
MSE(Mean Squared Error) loss function 사용

과정
- Patch extraction and representation: 저해상도 이미지에서 patch 추출
- Non-linear mapping: 다차원의 patch들을 non-linear하게 다른 다차원의 patch들로 매핑
- Reconstruction: 다차원 patch들로부터 고해상도 이미지를 복원

Super Resoultion + GAN: GAN(Generative Adversarial Networks) 을 활용한 Super Resolution

k: kernel size, n: 필터의 수, s: stride
생성된 이미지와 실제 이미지를 이미지넷으로 사전 학습된 VGG 모델에 입력하여 나오는 feature map에서의 차이를 계산
perceptual loss = content loss + adversarial loss
- content loss: VGG를 이용한 loss
- adversarial loss: GAN을 사용함으로써 발생하는 loss