000_Introduction-L2-NLP.ipynb

{"cells":[{"cell_type":"markdown","metadata":{"id":"IrETEIhebFRC"},"source":["<a href=\"https://www.nvidia.com/dli\"> <img src=\"images/DLI_Header.png\" alt=\"Header\" style=\"width: 400px;\"/> </a>"]},{"cell_type":"markdown","metadata":{"id":"IAX04W7cbFRO"},"source":["# Transformer 기반 자연어 처리 애플리케이션 구축\n","### 1부: Machine Learning in NLP\n","\n","\n","이 랩에서는 *Attention*의 개념을 살펴보고 [\"Attention is All You Need!\"(Vaswani 외, 2017년)](https://arxiv.org/abs/1706.03762) 논문에서 소개된 Attention이 Transformer 아키텍처를 구성하는 방식에 대해 알아봅니다. Transformer 아키텍처는 [BERT](https://arxiv.org/abs/1810.04805)(Bidirectional Encoder Representations from Transformers) 및 [Megatron](https://developer.nvidia.com/blog/language-modeling-using-megatron-a100-gpu/)과 같은 대규모 언어 모델에 대한 선구적 아키텍처로, NLP(자연어 처리) 작업의 정확도를 크게 높였으며 여러 산업 전반의 기업들이 고품질 언어 기반 서비스를 접할 수 있게 했습니다.\n"]},{"cell_type":"markdown","metadata":{"id":"9T5wG1rpbFRQ"},"source":["## Table of Contents\n","\n","1. [트랜스포머 아키텍처](010_Transformer.ipynb)<br>\n","    - 트랜스포머 아키텍처\n","    - 어텐션\n","    - 인코더 피쳐\n","    - 디코더 피쳐\n","1. [BERT](020_BERT.ipynb)<br>\n","    - BERT 구조\n","    - 토크나이저\n","    - Contextualized Word Embedding\n","    - Visualizing Attention with BERT\n","1. [언어 모델 사전 훈련](030_PretrainingLM.ipynb)\n","    - 데이터 준비\n","    - 토크나이저 학습\n","    - NeMo와 BERT 사전훈련"]},{"cell_type":"markdown","metadata":{"id":"AEUmIopPbFRS"},"source":["### JupyterLab\n","이 핸즈온 랩에서는 [JupyterLab](https://jupyterlab.readthedocs.io/en/stable/)을 사용하여 환경을 관리합니다.  [JupyterLab 인터페이스](https://jupyterlab.readthedocs.io/en/stable/user/interface.html)는 인터랙티브 iPython 노트북에 액세스할 수 있을 뿐 아니라 Ubuntu 운영 체제로 환경 및 터미널 창의 폴더 구조에 액세스할 수 있는 대시보드입니다. 표시되는 첫 번째 보기에는 상단의 **메뉴 모음**, **왼쪽 사이드바**의 **파일 탐색기**, 처음에 \"시작 관리자\" 페이지로 열리는 **메인 작업 영역**이 포함되어 있습니다. \n","\n","<img src=\"images/jl_launcher.png\">\n","\n","파일 탐색기는 다른 파일 탐색기와 같은 방법으로 탐색할 수 있습니다. 항목을 더블 클릭하면 내용이 포함된 새 탭이 열립니다.\n","\n","메인 작업 영역에는 필요에 따라 닫거나 이동하거나 편집할 수 있는 탭으로 구분된 열린 파일 보기가 포함되어 있습니다. \n","\n","이 노트북을 포함한 노트북은 일련의 콘텐츠와 코드 **셀**로 구성됩니다.  코드 셀에서 코드를 실행하려면 셀을 강조 표시한 상태에서 `Shift+Enter`를 누르거나 위의 메뉴 모음에서 \"실행\" 버튼을 누르십시오. 때로는 콘텐츠 셀이 편집 모드로 전환됩니다. `Shift+Enter`를 누르면 읽을 수 있는 형식으로 다시 전환됩니다.\n","\n","아래 셀에서 간단한 출력 문을 실행해 보십시오."]},{"cell_type":"code","execution_count":null,"metadata":{"id":"Jn5E_ZprbFRT"},"outputs":[],"source":["# Highlight this cell and click [Shift+Enter] to execute\n","print('This is just a simple print statement')"]},{"cell_type":"markdown","metadata":{"id":"1yjAuNkubFRX"},"source":["<a href=\"https://www.nvidia.com/dli\"> <img src=\"images/DLI_Header.png\" alt=\"Header\" style=\"width: 400px;\"/> </a>"]}],"metadata":{"kernelspec":{"display_name":"Python 3","language":"python","name":"python3"},"language_info":{"codemirror_mode":{"name":"ipython","version":3},"file_extension":".py","mimetype":"text/x-python","name":"python","nbconvert_exporter":"python","pygments_lexer":"ipython3","version":"3.8.8"},"colab":{"name":"000_Introduction.ipynb","provenance":[],"collapsed_sections":[]}},"nbformat":4,"nbformat_minor":0}