使用ChatGLM3-6B模型p-tuning微调没有生成pytorch_model.bin文件

[QDPeng]

使用ChatGLM3-6B模型进行p-tuning微调没有生成pytorch_model.bin文件

日志里面打印显示写入文件：
[INFO|modeling_utils.py:2193] 2023-11-30 11:10:47,939 >> Model weights saved in output/test-20231130-110221-128-2e-2/checkpoint-200/pytorch_model.bin
但没有生成这个模型文件，导致推理时找不到模型。
有其他文件生成：model.safetensors，training_args.bin，tokenizer.model等。
不知道哪里出问题了？

[zRzRzRzRzRzRzR]

#253 移步这里讨论

[lazywangyuan]

这个问题解决没，我也出现这个问题

[SKURA502]

请问是如何解决的，我也遇到了同样的问题

[houliangxue]

请问你这个问题解决了吗，我也遇到了

[houliangxue]

我解决了，改了一下trainer.py

[RemiAlliah]

朋友们，搞了半天终于找到原因了，应该是transformer版本的问题，trainer.py中修改一下

这里的代码, 不要生成safetensor文件

[RemiAlliah]

ptuning文件中的trainer.py修改62行的代码，加入safe_serialization=False也可以解决问题

[LINBEIXL]

在TrainingArguments中配置save_safetensors=False即可
TrainingArguments( save_safetensors=False )

[Shenhaos]

您好，我加入safe_serialization=False，训练后生成的pytorch_model.bin只有1.8MB，推理的时候还是显示这个错误No such file or directory: './output/adgen-chatglm2-6b-pt-128-2e-2/checkpoint-3000/pytorch_model.bin'，请问有解决办法吗