-
Notifications
You must be signed in to change notification settings - Fork 41
faq_zh
ymcui edited this page Jan 28, 2024
·
2 revisions
答:我们会根据资源情况适时利用更多数据进行训练,以及利用偏好数据进行RLHF/DPO。目前不保证一定会推出。
答:主要有以下几个原因:1)训练效率;2)Mixtral相比LLaMA系列模型多出了一些中文token;3)考虑到量化之后的空间占用情况;4)通过小范围实验发现,扩展词表主要影响编解码效率,但对下游任务效果的影响不是很大。
答:支持。本项目推出的模型和Mixtral完全一致(包括词表),所以理论上原版支持的工具,这个项目里的模型也都支持。
- Model Reconstruction
- Model Quantization, Inference and Deployment
- System Performance
- Training Scripts
- FAQ