BoostCamp AI tech

Abstract

• U stage : 2021.01.18 ~ 2021.03.22
• 방학 : 2021.03.23 ~ 2021.03.26
• P stage : 2021.03.29 ~ 진행중 (2021.06.22 종료 예정)
  • Stage_1 : Image Classification (Mask Dataset - Multi Label, Multi Class) : LB Solo 152등
  • Stage_2 : Relation Extraction (between Sentence and Entity) : LB Solo 46등
  • Stage_3 : Dialogue State Tracking(DST) : Team LB (public 1등 | private 1등)🥇
  • Stage_4 : Deep Knowledge Tracing(DKT) - Team LB (public 2등 | private 4등)
• 본 Repository는 Naver BoostCamp AI tech 과정을 진행하며 학습한 내용들을 정리하는 공간입니다. 추가적인 내용들은 https://ydy8989.github.io에서 확인할 수 있습니다. 😄

U Stage

• 1~2주차 강의 실습 코드 : code
• 대부분의 흔적들은 BoostCamp AI Tech의 Edwith 강의 내용을 바탕으로 markdown으로 작성되었습니다.
• github.com의README.md 특성상 보이지 않는 수식들은 개인 블로그에서 합쳐진 형태의 포스팅으로 확인하실 수 있습니다:D

[Week 1] Python Basics For AI - 최성철 교수님

• [DAY 1] 파이썬/AI 개발환경 준비하기
• [DAY 2] 파이썬 기초 문법
• [DAY 3] 파이썬 기초 문법 II
• [DAY 4] 파이썬 기초 문법 III
• [DAY 5] 파이썬으로 데이터 다루기

[Week 2] AI Math - 임성빈 교수님

• [DAY 6] Numpy / 벡터 / 행렬
• [DAY 7] 경사하강법
• [DAY 8] Pandas / 딥러닝 학습방법 이해하기
• [DAY 9] Pandas II / 확률론
• [DAY 10] 시각화 / 통계학

[Week 3] DL Basic - 최성준 교수님

• [DAY 11] 딥러닝 기초
• [DAY 12] 최적화
• [DAY 13] Convolutional Neural Networks
• [DAY 14] Recurrent Neural Networks
• [DAY 15] Generative model

[Week 4] 자연어처리 - 주재걸 교수님

• [DAY 16] bag of words / Wrd2vc
• [DAY 17] RNNs, LSTM, GRU
• [DAY 18] Seq2seq with attention and BLEU score
• [DAY 19] Transformer
• [DAY 20] self-supervised pre-training models

[Week 5] 추천시스템 - 신기정 교수님

• [DAY 21] What is Graph structure
• [DAY 22] 검색 엔진에서의 그래프 / 그래프 in 바이럴 마케팅
• [DAY 23] 추천시스템 with graph(basic)
• [DAY 24] 추천시스템 with graph(advanced)
• [DAY 25] Graph neural network

[Week 6] 마스터 특강

• [Day 26] 휴일(3/1절)
• [Day 27] 이활석 - 서비스 향 AI 모델 개발하기 / 박은정 - AI 시대의 커리어 빌딩
• [Day 28] 김상훈 - 캐글 컴피티션 경진대회 그랜드마스터의 노하우 대방출 / 이준엽 - Full Stack ML Engineer
• [Day 29] 박성준 - 자연어 처리를 위한 언어 모델의 학습과 평가 / 문지형 - 내가 만든 AI 모델은 합법일까, 불법일까
• [Day 30] 구종만 - AI + ML과 Quant Trading / 오혜연 - AI Ethics

[Week 7] Computer Vision - 오태현 교수님

• [Day 31] Image Classification 1/ Annotation data efficient learning
• [Day 32] Image Classification 2 / Semantic segmentation
• [Day 33] Object detection / CNN Visualization
• [Day 34] Instance/Panoptic segmentation and landmark localization / Conditional Generative Model
• [Day 35] Multimodal captioning and speaking / 3D understanding

[Week 8] 모델 경량화 - 홍원의님 (정리중..)

• [Overview] week 8 overview & (0강) OT / 데이터셋 관련 공지
• [Day 36] 가벼운 모델 / 팔리는 물건 / 가장 적당하게
• [Day 37] 모델의 시공간 / 알뜰히
• [Day 38] 빠르게 / 알뜰히(2)
• [Day 39] 양자화 / 지식 증류
• [Day 40] 행렬 분해 / 돌아보기

P Stage

• P stage는 총 4개의 스테이지로 구성됩니다.
• 각 스테이지는 본인이 선택한 주제로 진행하는 대회에 참가하는 방식으로 진행됩니다. Upstage가 제공하는 플랫폼에서 진행되며 Kaggle, Dacon과 유사한 형식으로 진행됩니다.
  • Stage_1 (2주) : Image Classification (Mask Dataset - Multi Label, Multi Class) : LB Solo 152등
  • Stage_2 (2주) : Relation Extraction (between Sentence and Entity) : LB Solo 46등
  • Stage_3 (4주) : Dialogue State Tracking(DST) : Team LB (public 1등 | private 1등) 🥇
  • Stage_4 (4주) : Deep Knowledge Tracing(DKT) : Team LB (public 2등 | private 4등)
• 아래의 디렉토리는 각 대회가 진행되는 중 제공되었던 강의에 대한 학습 자료 및 멘토링 내용, 오피스 아워에 대한 내용들을 포함하고 있습니다.

[Stage1] Image Classification - 김태진 멘토@번개장터

• [3/29] Day 1 - P Stage Start !
• [3/30] Day 2 - Data Feeding
• [3/31] Day 3 - Model
• [4/1] Day 4 - Training & Inference
• [4/2] Day 5 - Ensemble & Experiment Toolkits and Tips

[Stage2] Relation_Extraction - 김성현 멘토@스마일게이트.AI

• [4/12] Day 1 - 인공지능과 자연어처리
• [4/13] Day 2 - 자연어 전처리
• [4/14] Day 3 - BERT 언어모델 (1)
• [4/15] Day 4 - BERT 언어모델 (2)
• [4/16] Day 5 - BERT 언어모델 기반의 단일 문장 분류
• [4/19] Day 6 - BERT 언어모델 기반의 두 문장 관계 분류
• [4/20] Day 7 - BERT 언어모델 기반의 문장 토큰 분류
• [4/21] Day 8 - GPT 언어모델
• [4/22] Day 9 - GPT 언어모델 기반의 자연어 생성
• [4/23] Day 10 - 최신 자연어처리 연구

[Stage3] Dialogue State Tracking - 김성동 마스터@Clova AI

• [4/26] Introduction to DST & WoS Data EDA
• [4/27] Ontology-Based DST Model
• [4/28] Special Mission 1: SUMBT 구현하기
• [4/29] Special Mission 2 : SUMBT 학습하기
• [5/3] Open-Vocab Based DST Models
• [5/4] Other DST Models
• [5/6] Special Mission 1 : TRADE 모델의 Slot Gate 변경해보기
• [5/7] Special Mission 2 : TRADE 모델의 Encoder 변경해보기
• [5/10] Advanced DST Models
• [5/11] Remaining Challenges
• [5/12] Special Mission 1 : Task-Adaptive Pretraining
• [5/13] Special Mission 2 : Task-Adaptive Pretraining2
• [5/17] Special Mission: CoCo

[Stage4] Deep Knowledge Tracing - 이영수 마스터

• [5/24] Intro & EDA
• [5/25] Baseline (LGBM, LSTM, Transformer)
• [5/26] Sequence Data 문제 정의에 맞는 Transformer Architecture 설계
• [5/27] Transformer Input Representation, Output 구현
• [5/28] Office Hour : Baseline 톺아보기 - 조대현 멘토
• [5/31] Kaggle Riiid Competition Winner's Solution 탐색
• [6/1] Model 성능 개선
• [6/4] Office Hour : DKT 논문 톺아보기 - 박현병 멘토
• [6/7] ML Pipeline
• [6/8] Model Serving
• [6/9] End-to-End 프로젝트 수행
• [6/10] Office Hour : P stage에서 진행한 모델들에 클라이언트 사이드를 적용한 배포 과정 소개- 서중원 멘토
• [6/16] 마스터 클래스