Skip to content

中文Mixtral大模型 v1.0
Compare
Choose a tag to compare
@ymcui ymcui released this 29 Jan 03:40
· 22 commits to main since this release
v1.0
4805b48
This commit was created on github.com and signed with GitHub’s verified signature.
GPG key ID: B5690EEEBB952194
Learn about vigilant mode.

发布中文Mixtral, Mixtral-Instruct大模型已正式发布。

  • Chinese-Mixtral：基座模型，使用20G语料增量训练
  • Chinese-Mixtral-Instruct：指令/chat模型，在Chinese-Mixtral的基础上进一步通过指令精调（500万条指令）获得

模型特点

📖 稀疏混合专家模型

Mixtral是一个稀疏混合专家模型。该模型与以往的LLaMA等主流大模型结构具有显著差异，主要体现在以下几点：

  • 每个FFN层包含8个不同的"专家"（全连接层），根据门控值选取最优的2个进行激活
  • 输入序列中的每个token都会独立地选取专家，而不是整个序列对应一组专家
  • 实际参数量约为46.7B，在推理时激活的参数量约为13B

🚄 原生支持32K上下文（实测支持128K）

Mixtral模型原生支持32K上下文（实测可达128K）。用户可使用单一模型来解决不同长度的各类任务。

模型效果

Assets 2
Loading