README.md

ChatNLP Beacon

  ChatGPT 的横空出世，在人工智能领域掀起了空前热度。相比前作 GPT-2，GPT-3 等文本生成模型，由于 ChatGPT 具备用户对话交互特性，因此席卷全球以来便引起各行从业人群的广泛使用。对话系统是实现人机交互的关键，也成为当前人工智能的热门研究方向。

  本项目基于对话系统的学习笔记教程，包含四部分：第一部分介绍自然语言处理涉及的深度学习基础知识；第二部分从研究的角度对对话系统作系统阐述，包括对话分类、研究方向、评估、数据集等；第三部分是代码实践，用开源模型搭建对话系统；第四部分则分享一些对话系统的趣味应用。

  作者是一名在读博士生，研究方向为预训练模型和对话系统，平时热衷写作分享，希望能结合博士研究课题完成一项对话系统的开源项目。在科研过程中，面对浩渺如烟的知识云海，我深感“吾生而有涯，而知也无涯”，将项目取名为 ChatNLP Beacon，旨在整理对话系统相关笔记，并注入自身理解思考，不断巩固更新，完善知识体系，像信标灯一样，为茫茫学海的扁舟指引航向。这既是对我自己科研的督促学习，也希望能分享给更多志同道合的伙伴，相互指点，共同进步。

  欢迎对自然语言处理和对话系统等感兴趣的同学加入本项目，可对现有内容进行校正，也可选择编写自己感兴趣的内容，欢迎联系微信：NightWalzer。

参考目录

• 深度学习基础 Deep Learning Basis

  • 1 自然语言与信息论 Information Theory
  • 2 深度学习模型 Deep Learning Models
    • 2.1 深度神经网络 Deep Neural Networks
    • 2.2 优化方法 Optimization Methods
    • 2.3 模型泛化 Model Generalization
  • 3 预训练大模型 Model Regularization
  • 4 大规模深度学习 Large-scale Deep Learning

• 对话系统 Dialogue System

  • 1 对话系统概述 Pretrained Models
  • 2 任务型对话和开放域对话 Task-Oriented and Open-Domain Dialogues
  • 3 知识对话和人设对话 Knowledge-Grounded and Persona Dialogues
  • 4 对话系统研究挑战 Research Challenges for Dialogue System
  • 5 对话系统评估 Dialogue Evaluations
  • 6 对话数据集 Dialogue Datasets

• 对话大模型实现 Dialogue Implementation

  • 1 基于 GPT2 的对话生成模型 GPT-2 based Dialogue Generation
  • 2 基于 BERT 的对话生成评估 BERT based Evaluation for Dialogue Generation

• 对话系统应用 Dialogue Applications

  • 1 趣味角色对话：丰富的个性化人设 Character AI

贡献名单

成员	简介	主页
薛博阳	项目负责人，香港中文大学博士在读	Github, 知乎

  欢迎对自然语言处理和对话系统等感兴趣的同学加入本项目，可对现有内容进行校正，也可选择编写自己感兴趣的内容，欢迎联系微信：NightWalzer。

关注我们

扫描下方二维码关注公众号：Datawhale

  Datawhale，一个专注于AI领域的学习圈子。初衷是 for the learner，和学习者一起成长。目前加入学习社群的人数已经数千人，组织了机器学习，深度学习，数据分析，数据挖掘，爬虫，编程，统计学，Mysql，数据竞赛等多个领域的内容学习，微信搜索公众号Datawhale可以加入我们。

LICENSE

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。