稳定版本v0.5.4

【新功能】增加deepseek系列、MiniCPM、MiniCPMV、llama3.2、Qwen2.5；支持device_map=auto
【修复】修复batch_generate和n>1的bug

稳定版本v0.5.3

【新功能】

• 增加llama3.1/Yi1.5
• 自动选择从hfmirror下载
• 支持命令行参数bert4torch-llm-server

稳定版本v0.5.2

新功能

• chatglm/qwen系列支持function call调用
• 增加internlm2系列；

小优化

• 简化pipeline中chat demo的调用
• generate的终止token元素允许为列表
• 统一rope_scaling参数名，增加rope衍生类；

bug修复

• flash_attn2的推理bug
• 修复bart, t5之前的tie_word_embedding的bug

稳定版本v0.5.1

新增

• 增加Qwen1.5, Qwen2, glm4;
• 增加SWA/convert_lm_logits_dtype；

bug修复

• 调整各个trainer(重点DPOTrainer)
• generation中segment_ids
• repetition_penalty需带query
• RMSNorm中转类型bug

稳定版本v0.5.0

bug修复

• 修复chatglm3的bug
• 修复save_pretrained时多文件的bug
• 修改Text2Vec的bug

新增小功能

• 增加CausalLMLoss
• 修改deepspeed的传参逻辑
• 完善openai client
• 增加get_weight_decay_optim_groups

稳定版本v0.4.9.post2

bug修复

• 修改repetition_penalty的bug
• 修复config_path的bug

功能优化

• attention中允许is_causal
• 把baichuan从llama中剥离

新增功能

• 增加get_weight_decay_optim_groups函数
• 允许num_key_value_heads参数
• torch4keras-v0.2.1更新特性

稳定版本v0.4.8

1. 🔥build_transformer_model允许从hf下载
2. fastapi发布服务允许闲时offload到cpu
3. 添加FillMask的pipeline
4. 添加SequenceClassificationTrainer

稳定版本v0.4.7

1. 修改save_pretrained用于保存文件夹
2. 增加GenerateSpeed用于统计token生成速度
3. 修复t5在use_states=True时候的错误
4. 修改层次编码的bug
5. 增加deepseek_moe模型
6. 修复generation并发错误，优化大模型耗时

稳定版本v0.4.6

• bug修复
• 增加save_pretrained用于保存transformer格式的权重,
• 增加部分embedding模型

稳定版本v0.4.5

• training时候不生成past_key_values
• 增加streamlit的example
• 修复句向量max时的bug
• batch_generate合并到generate
• 修改generation的默认参数名(兼容过去的参数名)
• 多轮对话中可保留past_key_values
• 把attention中的mask补齐逻辑移到apply_embedding中
• 增加uie的pipeline
• 增加PtuningV2Trainer