AIKU에서 진행한 2024년 겨울 방학 프로젝트입니다.
가끔 친구들과 인터넷 메신저로 대화를 하다보면 상황에 맞는 재밌는 짤을 가져오는 친구들이 꼭 있습니다. 하지만 불행히도, 그런 능력을 모두가 가지고 있는 것은 아니죠... 재밌는 짤을 친구들에게 보내고 싶은 분들을 위해 사용자가 입력한 Query에 맞는 사진을 추천해주는 프로젝트입니다. 이를 위해 사용자가 입력한 query와 인터넷 짤 사이의 유사도를 딥러닝 모델을 통해 구하고 가장 유사도가 높은 사진을 output해주는 모델을 구축했습니다.
Tag가 붙어있는 인터넷 짤들을 크롤링하여 수집. (2runzzal.com, Jjalbang.today, jjalbang.net 사이트에서 데이터 수집)
Sbert를 사용하여 입력 query와 이미지 태그들 사이의 유사도를 도출하고 상위 K개를 추출
LLM(OPEN-SOLAR-KO-10.7B)를 사용하여 이미지 태그들이 감정이나 상황 등의 정보를 담을 수 있도록 가다듬는 역할과 Sbert를 사용하여 추출한 특정 query에 맞는 상위 K개의 이미지 중 하나의 이미지를 최종 output으로 결정하는 역할을 담당
BLIP-2를 사용하여 이미지 캡셔닝을 진행. 기존 크롤링으로 수집한 태그들로는 부족한 이미지에 대한 설명을 보충하는 역할을 담당.
Google Colab Pro A100
현재 ipynb 파일만 올라와 있으므로 전체를 돌리셔야 합니다.. 추후 모듈화 진행 후 코드를 업데이트할 예정입니다.
