1.1.0 全面升级支持deepseek

1. 升级vLLM至最新0.7.2，专门针对deepseek优化了MLA和KV cache，数倍提高推理吞吐性能
2. 升级LLamaFactory镜像至最新版，全面支持deepseek v3和R1 系列模型微调，并新增支持qwen2.5 vl模型
3. Model Hub UI新增调用代码示例，对部署好的endpoint点击按钮可以生成sagemaker invoke代码
4. 优化中国区模型部署方式，首次部署需要从modelscope下载模型，后续从缓存加载，提高模型再次部署速度

1.0.9 简化中国区部署

1. 简化中国区部署，提供CloudFormation+一键安装脚本组合安装，只需2步完成中国区部署。
2. 升级LLamaFactory至最新版本

• 支持QvQ, QwQ等新模型,并新增OpenO1-SFT长思维链微调数据集。
• 支持Swanlab作为metrics看板。

3. 升级vLLM至最新0.6.6。
4. 修复其他中国区兼容问题。

1.0.8 BYOC 直接使用LLamaFactory 原始Repo代码

1. 从BYOS更换成BYOC方式直接使用LLamaFactory原始repo，无需fork修改官方库，保持跟社区一致性，并且提高训练启动速度（只需CloudFormation首次部署时build 训练镜像）。
2. 升级LLamaFactory到最新版本0.9.2.dev0，支持LLama 3.2 vision， Llava-Next等新的多模态模型微调。
3. 升级vLLM至最新0.6.4。
4. 推理部署更新：支持多图推理请求（auto模式默认1张图），创建endpoint时选择vllm可以调整。（⚠️如果调整大小后，部署失败，请检查SageMaker日志中错误提示，可能需要根据实例和模型大小的不同，在前端页面调整见FAQ 7.6）

支持LLaMA-Factory Pretrain-training训练

1. 开启Pretrain-training训练, 适用场景：基于Base模型做代码补全持续预训练
2. 增加Instance 计算器小工具，创建endpoint时，在选择instance type旁边有链接跳转
3. 其他优化: 优化训练过程中checkpoint保存机制，支持实时上传s3.
   升级方法

1.0.6 版本升级-支持RLHF-DPO，KTO

1. 支持RLHF-DPO, KTO训练,请见[飞书文档示例1.5] (https://amzn-chn.feishu.cn/docx/Va0AdPBDkoCbgCxa7xYcXlyKnUg)
2. 模型Endpoint部署，直接从指定S3目录加载模型。（适合已有微调后的模型直接加载）
3. 升级LLaMA-Factory到最新版本10/25
4. 升级vLLM到最新版本0.6.3.post2
5. 简化升级方法，新增一键升级脚本 03.upgrade.sh
   升级方法

1.0.5 中国区升级至vllm byoc部署方式

1. 中国区升级至vllm byoc部署方式，以支持Qwen2VL等新模式部署
2. vLLM部署方式新增enable-prefix-caching （system prompt 缓存）等额外可配置参数
3. 支持LLama 3.2 11B Vison部署
   需要配置额外部署方法见：Model Hub 使用示例合集
4. 规避deepspeed已知bug，支持DeepSeek V2 MOE 模型微调
5. 易用性：增加一键复制到新任务功能
6. 支持私有化Wandb 配置，把训练数据发送到私有化wandb
   （使用Cloudformation部署时或者升级之后在.env中添加WANDB_BASE_URL=）

升级方法

1.0.4 支持 LLama 3.2，spot traning等

1. 升级底层依赖到最新版，支持 LLama 3.2 finetuning和部署
2. 升级 Transformers 到最新版 4.45.0
3. 升级 LLaMa -Factory 到 最新版0.9.1dev0
4. 升级 vLLM 到最新版0.6.2
5. 新feature：训练时支持选择Spot实例 （适合不太长时间的小任务微调实验，因为目前训练脚本暂不支持spot实例中断后从checkpoint恢复）

升级方法：
https://github.com/aws-samples/llm_model_hub?tab=readme-ov-file#%E5%A6%82%E4%BD%95%E5%8D%87%E7%BA%A7

1.0.3

New Features

1. Support multimodal LLM such as Qwen2VL, LLaVA 1.5
2. Upgrade Transformers to 4.45.dev to support Qwen2VL, Qwen 2.5
3. Upgrade LLaMA Factory to 0.9.1dev0
4. Upgrade vLLM version to v.0.6.1
5. Support multiple instances in SageMaker endpoint deployment
6. Fix other minor bugs in frontend

升级方法

方法 1. 下载新的cloudformation 模板进行重新部署，大约12分钟部署完成一个全新的modelhub
方法 2. 手动更新：
先打开backend/.env，把原有的vllm_image=这个行删了
更新代码, 重新打包byoc镜像

git pull
git submodule update --remote
cd /home/ubuntu/llm_model_hub/backend/byoc
bash build_and_push.sh 

重启服务
pm2 restart modelhub
pm2 restart modelhub-server
pm2 restart modelhub-engine

1.0.2 add BYOC vllm containers

1. when deploy a model using 'auto' or 'vllm', modelhub will choose a BYOC vllm image (v0.5.5)
2. keep LMI image for 'lmi-dist' option

fix of 1.0.1

1. 增加了从已有模型文件或者checkpoint文件开始训练，请见飞书手册case 4
2. 修复未设置WANDB API KEY启动失败的问题