LoRA微调时只有第一个loss有数值，后面的loss全为0.0

[yuanye1010]

如题，怎么解决呢？

[Lzzzii10]

同样的问题，解决了吗兄弟

[YangLei6]

同样的问题，解决了吗兄弟

[BXHQu]

同样的问题，解决了吗，兄弟

[Xuanaxx]

同样的问题，解决了吗兄弟

[YangLei6]

我用两个不同的环境，有一个是这种情况，有一个不是，是不是环境的原因？

[Xuanaxx]

不清楚，我看网上其它项目类似情况（loss只有第一次有值）给了一个解决方案，把模型精度改为bf16。我试了一下，loss有是有了，但是训练结果也不尽如人意（变成复读机了）...

[Xuanaxx]

更新一下，学习率调低也能部分解决问题

[ZhaoyingAC]

模型精度设置成bf16, 学习率设置成1e-5还是同样的问题。

tokenizer = AutoTokenizer.from_pretrained(model_args.model_name_or_path, trust_remote_code=True, use_bfloat16=True)
model = AutoModel.from_pretrained(model_args.model_name_or_path, trust_remote_code=True, use_bfloat16=True).cuda()

[ZhaoyingAC]

你的python、torch、transformers的版本都是多少

[Xuanaxx]

你的python、torch、transformers的版本都是多少

python3.10，torch2.1.2，transformers4.36.2

[ZhaoyingAC]

peft==0.6.0 解决了，可以参考

[huilong-chen]

同样的问题，解决了吗兄弟

[sofiane-20241050]

你说到点子上了，解决这个问题了，至于loss有没有下降和收敛就是另一回事

[fuzhao123232]

作者说的peft是0.7.1哦，2024/3/5

[sofiane-20241050]

You are right, 我前天注意到了，ok

…

---- 回复的原邮件 ---- | 发件人 | ***@***.***> | | 发送日期 | 2024年03月05日 16:57 | | 收件人 | THUDM/ChatGLM3 ***@***.***> | | 抄送人 | sofiane-20241050 ***@***.***>, Manual ***@***.***> | | 主题 | Re: [THUDM/ChatGLM3] LoRA微调时只有第一个loss有数值，后面的loss全为0.0 (Discussion #568) | 作者说的peft是0.7.1哦，2024/3/5 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>