中文Mixtral大模型 v1.0
发布中文Mixtral, Mixtral-Instruct大模型已正式发布。
- Chinese-Mixtral:基座模型,使用20G语料增量训练
- Chinese-Mixtral-Instruct:指令/chat模型,在Chinese-Mixtral的基础上进一步通过指令精调(500万条指令)获得
模型特点
📖 稀疏混合专家模型
Mixtral是一个稀疏混合专家模型。该模型与以往的LLaMA等主流大模型结构具有显著差异,主要体现在以下几点:
- 每个FFN层包含8个不同的"专家"(全连接层),根据门控值选取最优的2个进行激活
- 输入序列中的每个token都会独立地选取专家,而不是整个序列对应一组专家
- 实际参数量约为46.7B,在推理时激活的参数量约为13B
🚄 原生支持32K上下文(实测支持128K)
Mixtral模型原生支持32K上下文(实测可达128K)。用户可使用单一模型来解决不同长度的各类任务。