今年4月中旬, 人大赵鑫教授团队出书了《大语言模型》一书, 作为第一本中文大语言模型教程, 立刻引起广泛关注, 该书内容偏综述, 非常系统性地介绍了大语言模型的基本原理、核心技术和研究进展, 对于了解大语言模型的全貌会有非常好的帮助。征得作者赵鑫老师许可, 本文整理了该书的学习笔记。笔者以思维导图形式记录了全书各章节知识点,希望可进一步加深对大语言模型全貌的理解。
该书笔记引用内容的版权归原作者所有。此外,该笔记内容仅用于学习分享,禁止作为商业用途,若涉及侵权行为,请联系删除,十分感谢。
《大语言模型》综述书籍链接: https://github.com/LLMBook-zh/LLMBook-zh.github.io
第一章 引言(大模型发展历程、重要技术概览)
第二章 基础介绍(Scaling Law、GPT系列模型发展历程)
第三章 大模型资源(开源模型、数据、代码库)
第四章 数据准备(数据收集、清洗、配比、课程方法)
第五章 模型架构(Transformer 结构、大模型主流架构、细节改进)
第六章 模型预训练(预训练任务、优化参数设置、并行训练方法)
第七章 指令微调(指令数据收集与合成方法、指令微调策略与作用)
第八章 人类对齐(3H标准、RLHF算法、非RL算法)
第九章 解码与部署(解码生成算法、解码加速算法、模型压缩算法)
第十章 提示学习(基础提示方法、上下文学习、思维链)
第十一章 规划与智能体(复杂规划方法、智能体搭建方法)
第十二章 评测(评测指标与方法、基础与高级能力评测、评测体系)
第十三章 应用(概览研究领域与专业领域的应用)
第十四章 总结
笔者公众号"州懂学习笔记"会有更多关于大模型&推荐系统的分享, 欢迎关注