不兼容新模型，sherpa-onnx-paraformer-zh-2024-03-09 #120

kebinzhi · 2024-04-22T19:08:38Z

https://huggingface.co/csukuangfj/sherpa-onnx-paraformer-zh-2024-03-09
以上模型有更新，自己手动下载，并转换了模型格式，但是无法识别语音

qhgy · 2024-05-01T16:23:19Z

希望能更新啊

HustCoderHu · 2024-05-04T06:15:23Z

https://huggingface.co/csukuangfj/sherpa-onnx-paraformer-zh-2024-03-09 以上模型有更新，自己手动下载，并转换了模型格式，但是无法识别语音

提示什么错误

yy-zhong · 2024-05-08T12:19:26Z

@kebinzhi 或许可以考虑自己构建一个ONNX模型？我也尝试了链接里的模型，同样是无法执行。
我的解决方案如下，可以在本地构建一个最新版本的原版模型的ONNX导出版本，并运行成功。

执行python -m funasr.export.export_model --model-name model_lib --export-dir ./export --type torch --quantize false命令，这一步需要您安装funasr包。之后可以在命令行的输出中找到onnx文件的所在位置。
对onnx文件执行这个仓库里的命令

python3 add-model-metadata.py
python3 quantize-model.py

之后就可以获得model.int8.onnx文件，这个文件可以直接粘贴放入models/paraformer-offline-zh目录下。

希望这个解决方案可以帮到您！ 😉

qhgy · 2024-05-11T12:35:51Z

@kebinzhi 或许可以考虑自己构建一个ONNX模型？我也尝试了链接里的模型，同样是无法执行。我的解决方案如下，可以在本地构建一个最新版本的原版模型的ONNX导出版本，并运行成功。

执行python -m funasr.export.export_model --model-name model_lib --export-dir ./export --type torch --quantize false命令，这一步需要您安装funasr包。之后可以在命令行的输出中找到onnx文件的所在位置。

对onnx文件执行这个仓库里的命令
python3 add-model-metadata.py
python3 quantize-model.py
之后就可以获得model.int8.onnx文件，这个文件可以直接粘贴放入models/paraformer-offline-zh目录下。

希望这个解决方案可以帮到您！ 😉

大佬能不能直接分享一下构建好的模型呢造福大众多谢啦

yy-zhong · 2024-05-12T05:00:32Z

这是我自己构建的版本，在Windows环境运行无问题。只需要把models里的paraformer-offline-zh文件夹下的内容替换成新的即可。
P.S. 强烈建议对原本的模型进行备份

qhgy · 2024-05-12T06:42:43Z

这是我自己构建的版本，在Windows环境运行无问题。只需要把models里的paraformer-offline-zh文件夹下的内容替换成新的即可。 P.S. 强烈建议对原本的模型进行备份

感恩大佬我昨天搞了半天还是失败了

yy-zhong · 2024-05-13T00:49:49Z

如果这个issue得到了解决或许它可以关闭了？
P.S. 如果有必要我可以把我的构建脚本发布为一个gist，并共享到这个issue下面。

qhgy · 2024-05-13T02:39:25Z

如果这个issue得到了解决或许它可以关闭了？ P.S. 如果有必要我可以把我的构建脚本发布为一个gist，并共享到这个issue下面。

强烈支持小白根本搞不定

yy-zhong · 2024-05-13T04:37:43Z

这是从头开始构建的说明，里面也包含了必要的python代码

qhgy · 2024-05-13T04:50:20Z

感谢分享(-🙏-) zhong-yiyu ***@***.***> 于 2024年5月13日周一下午12:38写道：

…

这是从头开始构建的说明 <https://gist.github.com/zhong-yiyu/987fa590360e051d08d5a2df9d4763b3> ，里面也包含了必要的python代码 — Reply to this email directly, view it on GitHub <#120 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AAFQFJLQQKFZ6LACK54T6RTZCA7SZAVCNFSM6AAAAABGTLHJTGVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDCMBWGYZTSMRXGQ> . You are receiving this because you commented.Message ID: ***@***.***>

Stanley121236 · 2024-05-21T15:25:59Z

更換sherpa-onnx-paraformer-trilingual-zh-cantonese-en這個模型更換後同樣出錯，按照上述的方也無法解決，，請問是什麼問題？可以幫忙排錯嗎，感謝。模型：https://huggingface.co/csukuangfj/sherpa-onnx-paraformer-trilingual-zh-cantonese-en

yy-zhong · 2024-05-22T01:32:49Z

更換sherpa-onnx-paraformer-trilingual-zh-cantonese-en這個模型更換後同樣出錯，按照上述的方也無法解決，，請問是什麼問題？可以幫忙排錯嗎，感謝。模型：https://huggingface.co/csukuangfj/sherpa-onnx-paraformer-trilingual-zh-cantonese-en

如果可以把具体的报错信息post过来就可以更方便的定位了😉

Stanley121236 · 2024-05-22T14:57:08Z

更換sherpa-onnx-paraformer-trilingual-zh-cantonese-en這個模型更換後同樣出錯，按照上述的方也無法解決，，請問是什麼問題？可以幫忙排錯嗎，感謝。模型：https://huggingface.co/csukuangfj/sherpa-onnx-paraformer-trilingual-zh-cantonese-en

如果可以把具体的报错信息post过来就可以更方便的定位了😉

在recognizer.decode_stream(s)時沒有任何回應。
代碼如下:

stream = recognizer.create_stream()
stream.accept_waveform(args.sample_rate, samples)
print('decode_start')
recognizer.decode_stream(stream)
print('decode_done')
print(stream)
print(stream.result.text)

只能顯示print('decode_start')

yy-zhong · 2024-05-25T05:55:25Z

这个似乎是项目的加载模型的逻辑没有对额外的token进行处理的缘故？使用了粤语的模型会比只支持中英文的模型多了上千个token。

我在 sherpa-onnx 项目的代码中运行了您提供的链接里的模型，并没有异常。而sherpa-onnx正是这个项目的组成部分。

对于这个问题的解决方案我也没有什么头绪。

Stanley121236 · 2024-05-27T00:02:24Z

感謝解答~~~~

csukuangfj · 2024-06-11T07:07:42Z

建议取消掉版本限制

CapsWriter-Offline/requirements-server.txt

Line 5 in a072f53

sherpa_onnx==1.8.11

直接用

sherpa-onnx

即可。

这个问题的解决方法是

pip install -U sherpa-onnx

Stanley121236 · 2024-06-17T16:18:38Z

这是我自己构建的版本，在Windows环境运行无问题。只需要把models里的paraformer-offline-zh文件夹下的内容替换成新的即可。 P.S. 强烈建议对原本的模型进行备份

可以為這個模型構建一個新版本嗎？https://huggingface.co/csukuangfj/sherpa-onnx-paraformer-trilingual-zh-cantonese-en

csukuangfj · 2024-06-18T01:57:29Z

这是我自己构建的版本，在Windows环境运行无问题。只需要把models里的paraformer-offline-zh文件夹下的内容替换成新的即可。 P.S. 强烈建议对原本的模型进行备份

可以為這個模型構建一個新版本嗎？https://huggingface.co/csukuangfj/sherpa-onnx-paraformer-trilingual-zh-cantonese-en

pip install -U sherpa-onnx
能否解决你的问题？

yy-zhong · 2024-06-18T07:45:20Z

这是我自己构建的版本，在Windows环境运行无问题。只需要把models里的paraformer-offline-zh文件夹下的内容替换成新的即可。 P.S. 强烈建议对原本的模型进行备份

可以為這個模型構建一個新版本嗎？https://huggingface.co/csukuangfj/sherpa-onnx-paraformer-trilingual-zh-cantonese-en

Huggingface上的模型已经是modelscope网站上的原始版本的最新版了，并不需要新构建版本。

zhai-hello · 2024-09-13T13:37:24Z

https://huggingface.co/csukuangfj/sherpa-onnx-paraformer-zh-2024-03-09 以上模型有更新，自己手动下载，并转换了模型格式，但是无法识别语音

解决了嘛？

csukuangfj · 2024-09-13T15:00:31Z

建议去新一代kaldi微信或者qq交流群提问。

sherpa-onnx代码主页的readme.md最下面，有联系方式

Think0508 · 2024-10-02T10:58:25Z

这是从头开始构建的说明，里面也包含了必要的python代码

您好，方便再分享一下从头构建的说明及脚本吗？我尝试着对阿里官方最新发布的model_quant.onnx执行add-model-metadata.py文件，但是始终没有办法把它变为int8.onnx。期待您的回复

yy-zhong · 2024-10-08T05:39:04Z

@Think0508 已经更新了构建说明，应该可以本地复现。

Think0508 · 2024-10-08T14:58:47Z

@Think0508 已经更新了构建说明，应该可以本地复现。

感谢您的分享！反馈：我已经成功本地复现，语音模型运转正常。在quantize-model这一步和之前一样，都会报很多 warning。不过看起来似乎没有影响到最终的model-int8.onnx。

我将我构建完毕的模型文件夹上传到了huggingface（版本为2024-09-25更新，至20241008为最新），可以正常使用。有需要的人可以使用。

附上报错信息：

['onnx::Add_1065_output_quantized_cast', 'MatMul_686_quant_output_scale_mul', 'onnx::Add_1181_output_quantized_cast', 'MatMul_769_quant_output_scale_mul', 'onnx::Add_1196_output_quantized_cast', 'MatMul_783_quant_output_scale_mul', 'onnx::Add_1200_output_quantized_cast', 'MatMul_786_quant_output_scale_mul', 'onnx::Add_1215_output_quantized_cast', 'MatMul_800_quant_output_scale_mul', 'onnx::Add_1331_output_quantized_cast', 'MatMul_883_quant_output_scale_mul', 'onnx::Add_1347_output_quantized_cast', 'MatMul_898_quant_output_scale_mul', 'onnx::Add_1351_output_quantized_cast', 'MatMul_901_quant_output_scale_mul', 'onnx::Add_1366_output_quantized_cast', 'MatMul_915_quant_output_scale_mul', 'onnx::Add_1482_output_quantized_cast', 'MatMul_998_quant_output_scale_mul', 'onnx::Add_1498_output_quantized_cast', 'MatMul_1013_quant_output_scale_mul', 'onnx::Add_1502_output_quantized_cast', 'MatMul_1016_quant_output_scale_mul', 'onnx::Add_1517_output_quantized_cast', 'MatMul_1030_quant_output_scale_mul', 'onnx::Add_1633_output_quantized_cast', 'MatMul_1113_quant_output_scale_mul', 'onnx::Add_1649_output_quantized_cast', 'MatMul_1128_quant_output_scale_mul', 'onnx::Add_1653_output_quantized_cast', 'MatMul_1131_quant_output_scale_mul', 'onnx::Add_1668_output_quantized_cast', 'MatMul_1145_quant_output_scale_mul', 'onnx::Add_1784_output_quantized_cast', 'MatMul_1228_quant_output_scale_mul', 'onnx::Add_1800_output_quantized_cast', 'MatMul_1243_quant_output_scale_mul', 'onnx::Add_1804_output_quantized_cast', 'MatMul_1246_quant_output_scale_mul', 'onnx::Add_1819_output_quantized_cast', 'MatMul_1260_quant_output_scale_mul', 'onnx::Add_1935_output_quantized_cast', 'MatMul_1343_quant_output_scale_mul', 'onnx::Add_1951_output_quantized_cast', 'MatMul_1358_quant_output_scale_mul', 'onnx::Add_1955_output_quantized_cast', 'MatMul_1361_quant_output_scale_mul', 'onnx::Add_1970_output_quantized_cast', 'MatMul_1375_quant_output_scale_mul', 'onnx::Add_2086_output_quantized_cast', 'MatMul_1458_quant_output_scale_mul', 'onnx::Add_2102_output_quantized_cast', 'MatMul_1473_quant_output_scale_mul', 'onnx::Add_2106_output_quantized_cast', 'MatMul_1476_quant_output_scale_mul', 'onnx::Add_2121_output_quantized_cast', 'MatMul_1490_quant_output_scale_mul', 'onnx::Add_2237_output_quantized_cast', 'MatMul_1573_quant_output_scale_mul', 'onnx::Add_2253_output_quantized_cast', 'MatMul_1588_quant_output_scale_mul', 'onnx::Add_2257_output_quantized_cast', 'MatMul_1591_quant_output_scale_mul', 'onnx::Add_2272_output_quantized_cast', 'MatMul_1605_quant_output_scale_mul', 'onnx::Add_2388_output_quantized_cast', 'MatMul_1688_quant_output_scale_mul', 'onnx::Add_2404_output_quantized_cast', 'MatMul_1703_quant_output_scale_mul', 'onnx::Add_2408_output_quantized_cast', 'MatMul_1706_quant_output_scale_mul', 'onnx::Add_2423_output_quantized_cast', 'MatMul_1720_quant_output_scale_mul', 'onnx::Add_2539_output_quantized_cast', 'MatMul_1803_quant_output_scale_mul', 'onnx::Add_2555_output_quantized_cast', 'MatMul_1818_quant_output_scale_mul', 'onnx::Add_2559_output_quantized_cast', 'MatMul_1821_quant_output_scale_mul', 'onnx::Add_2574_output_quantized_cast', 'MatMul_1835_quant_output_scale_mul', 'onnx::Add_2690_output_quantized_cast', 'MatMul_1918_quant_output_scale_mul', 'onnx::Add_2706_output_quantized_cast', 'MatMul_1933_quant_output_scale_mul', 'onnx::Add_2710_output_quantized_cast', 'MatMul_1936_quant_output_scale_mul', 'onnx::Add_2725_output_quantized_cast', 'MatMul_1950_quant_output_scale_mul', 'onnx::Add_2841_output_quantized_cast', 'MatMul_2033_quant_output_scale_mul', 'onnx::Add_2857_output_quantized_cast', 'MatMul_2048_quant_output_scale_mul', 'onnx::Add_2861_output_quantized_cast', 'MatMul_2051_quant_output_scale_mul', 'onnx::Add_2876_output_quantized_cast', 'MatMul_2065_quant_output_scale_mul', 'onnx::Add_2992_output_quantized_cast', 'MatMul_2148_quant_output_scale_mul', 'onnx::Add_3008_output_quantized_cast', 'MatMul_2163_quant_output_scale_mul', 'onnx::Add_3012_output_quantized_cast', 'MatMul_2166_quant_output_scale_mul', 'onnx::Add_3027_output_quantized_cast', 'MatMul_2180_quant_output_scale_mul', 'onnx::Add_3143_output_quantized_cast', 'MatMul_2263_quant_output_scale_mul', 'onnx::Add_3159_output_quantized_cast', 'MatMul_2278_quant_output_scale_mul', 'onnx::Add_3163_output_quantized_cast', 'MatMul_2281_quant_output_scale_mul', 'onnx::Add_3178_output_quantized_cast', 'MatMul_2295_quant_output_scale_mul', 'onnx::Add_3294_output_quantized_cast', 'MatMul_2378_quant_output_scale_mul', 'onnx::Add_3310_output_quantized_cast', 'MatMul_2393_quant_output_scale_mul', 'onnx::Add_3314_output_quantized_cast', 'MatMul_2396_quant_output_scale_mul', 'onnx::Add_3329_output_quantized_cast', 'MatMul_2410_quant_output_scale_mul', 'onnx::Add_3445_output_quantized_cast', 'MatMul_2493_quant_output_scale_mul', 'onnx::Add_3461_output_quantized_cast', 'MatMul_2508_quant_output_scale_mul', 'onnx::Add_3465_output_quantized_cast', 'MatMul_2511_quant_output_scale_mul', 'onnx::Add_3480_output_quantized_cast', 'MatMul_2525_quant_output_scale_mul', 'onnx::Add_3596_output_quantized_cast', 'MatMul_2608_quant_output_scale_mul', 'onnx::Add_3612_output_quantized_cast', 'MatMul_2623_quant_output_scale_mul', 'onnx::Add_3616_output_quantized_cast', 'MatMul_2626_quant_output_scale_mul', 'onnx::Add_3631_output_quantized_cast', 'MatMul_2640_quant_output_scale_mul', 'onnx::Add_3747_output_quantized_cast', 'MatMul_2723_quant_output_scale_mul', 'onnx::Add_3763_output_quantized_cast', 'MatMul_2738_quant_output_scale_mul', 'onnx::Add_3767_output_quantized_cast', 'MatMul_2741_quant_output_scale_mul', 'onnx::Add_3782_output_quantized_cast', 'MatMul_2755_quant_output_scale_mul', 'onnx::Add_3898_output_quantized_cast', 'MatMul_2838_quant_output_scale_mul', 'onnx::Add_3914_output_quantized_cast', 'MatMul_2853_quant_output_scale_mul', 'onnx::Add_3918_output_quantized_cast', 'MatMul_2856_quant_output_scale_mul', 'onnx::Add_3933_output_quantized_cast', 'MatMul_2870_quant_output_scale_mul', 'onnx::Add_4049_output_quantized_cast', 'MatMul_2953_quant_output_scale_mul', 'onnx::Add_4065_output_quantized_cast', 'MatMul_2968_quant_output_scale_mul', 'onnx::Add_4069_output_quantized_cast', 'MatMul_2971_quant_output_scale_mul', 'onnx::Add_4084_output_quantized_cast', 'MatMul_2985_quant_output_scale_mul', 'onnx::Add_4200_output_quantized_cast', 'MatMul_3068_quant_output_scale_mul', 'onnx::Add_4216_output_quantized_cast', 'MatMul_3083_quant_output_scale_mul', 'onnx::Add_4220_output_quantized_cast', 'MatMul_3086_quant_output_scale_mul', 'onnx::Add_4235_output_quantized_cast', 'MatMul_3100_quant_output_scale_mul', 'onnx::Add_4351_output_quantized_cast', 'MatMul_3183_quant_output_scale_mul', 'onnx::Add_4367_output_quantized_cast', 'MatMul_3198_quant_output_scale_mul', 'onnx::Add_4371_output_quantized_cast', 'MatMul_3201_quant_output_scale_mul', 'onnx::Add_4386_output_quantized_cast', 'MatMul_3215_quant_output_scale_mul', 'onnx::Add_4502_output_quantized_cast', 'MatMul_3298_quant_output_scale_mul', 'onnx::Add_4518_output_quantized_cast', 'MatMul_3313_quant_output_scale_mul', 'onnx::Add_4522_output_quantized_cast', 'MatMul_3316_quant_output_scale_mul', 'onnx::Add_4537_output_quantized_cast', 'MatMul_3330_quant_output_scale_mul', 'onnx::Add_4653_output_quantized_cast', 'MatMul_3413_quant_output_scale_mul', 'onnx::Add_4669_output_quantized_cast', 'MatMul_3428_quant_output_scale_mul', 'onnx::Add_4673_output_quantized_cast', 'MatMul_3431_quant_output_scale_mul', 'onnx::Add_4688_output_quantized_cast', 'MatMul_3445_quant_output_scale_mul', 'onnx::Add_4804_output_quantized_cast', 'MatMul_3528_quant_output_scale_mul', 'onnx::Add_4820_output_quantized_cast', 'MatMul_3543_quant_output_scale_mul', 'onnx::Add_4824_output_quantized_cast', 'MatMul_3546_quant_output_scale_mul', 'onnx::Add_4839_output_quantized_cast', 'MatMul_3560_quant_output_scale_mul', 'onnx::Add_4955_output_quantized_cast', 'MatMul_3643_quant_output_scale_mul', 'onnx::Add_4971_output_quantized_cast', 'MatMul_3658_quant_output_scale_mul', 'onnx::Add_4975_output_quantized_cast', 'MatMul_3661_quant_output_scale_mul', 'onnx::Add_4990_output_quantized_cast', 'MatMul_3675_quant_output_scale_mul', 'onnx::Add_5106_output_quantized_cast', 'MatMul_3758_quant_output_scale_mul', 'onnx::Add_5122_output_quantized_cast', 'MatMul_3773_quant_output_scale_mul', 'onnx::Add_5126_output_quantized_cast', 'MatMul_3776_quant_output_scale_mul', 'onnx::Add_5141_output_quantized_cast', 'MatMul_3790_quant_output_scale_mul', 'onnx::Add_5257_output_quantized_cast', 'MatMul_3873_quant_output_scale_mul', 'onnx::Add_5273_output_quantized_cast', 'MatMul_3888_quant_output_scale_mul', 'onnx::Add_5277_output_quantized_cast', 'MatMul_3891_quant_output_scale_mul', 'onnx::Add_5292_output_quantized_cast', 'MatMul_3905_quant_output_scale_mul', 'onnx::Add_5408_output_quantized_cast', 'MatMul_3988_quant_output_scale_mul', 'onnx::Add_5424_output_quantized_cast', 'MatMul_4003_quant_output_scale_mul', 'onnx::Add_5428_output_quantized_cast', 'MatMul_4006_quant_output_scale_mul', 'onnx::Add_5443_output_quantized_cast', 'MatMul_4020_quant_output_scale_mul', 'onnx::Add_5559_output_quantized_cast', 'MatMul_4103_quant_output_scale_mul', 'onnx::Add_5575_output_quantized_cast', 'MatMul_4118_quant_output_scale_mul', 'onnx::Add_5579_output_quantized_cast', 'MatMul_4121_quant_output_scale_mul', 'onnx::Add_5594_output_quantized_cast', 'MatMul_4135_quant_output_scale_mul', 'onnx::Add_5710_output_quantized_cast', 'MatMul_4218_quant_output_scale_mul', 'onnx::Add_5726_output_quantized_cast', 'MatMul_4233_quant_output_scale_mul', 'onnx::Add_5730_output_quantized_cast', 'MatMul_4236_quant_output_scale_mul', 'onnx::Add_5745_output_quantized_cast', 'MatMul_4250_quant_output_scale_mul', 'onnx::Add_5861_output_quantized_cast', 'MatMul_4333_quant_output_scale_mul', 'onnx::Add_5877_output_quantized_cast', 'MatMul_4348_quant_output_scale_mul', 'onnx::Add_5881_output_quantized_cast', 'MatMul_4351_quant_output_scale_mul', 'onnx::Add_5896_output_quantized_cast', 'MatMul_4365_quant_output_scale_mul', 'onnx::Add_6012_output_quantized_cast', 'MatMul_4448_quant_output_scale_mul', 'onnx::Add_6028_output_quantized_cast', 'MatMul_4463_quant_output_scale_mul', 'onnx::Add_6032_output_quantized_cast', 'MatMul_4466_quant_output_scale_mul', 'onnx::Add_6047_output_quantized_cast', 'MatMul_4480_quant_output_scale_mul', 'onnx::Add_6163_output_quantized_cast', 'MatMul_4563_quant_output_scale_mul', 'onnx::Add_6179_output_quantized_cast', 'MatMul_4578_quant_output_scale_mul', 'onnx::Add_6183_output_quantized_cast', 'MatMul_4581_quant_output_scale_mul', 'onnx::Add_6198_output_quantized_cast', 'MatMul_4595_quant_output_scale_mul', 'onnx::Add_6314_output_quantized_cast', 'MatMul_4678_quant_output_scale_mul', 'onnx::Add_6330_output_quantized_cast', 'MatMul_4693_quant_output_scale_mul', 'onnx::Add_6334_output_quantized_cast', 'MatMul_4696_quant_output_scale_mul', 'onnx::Add_6349_output_quantized_cast', 'MatMul_4710_quant_output_scale_mul', 'onnx::Add_6465_output_quantized_cast', 'MatMul_4793_quant_output_scale_mul', 'onnx::Add_6481_output_quantized_cast', 'MatMul_4808_quant_output_scale_mul', 'onnx::Add_6485_output_quantized_cast', 'MatMul_4811_quant_output_scale_mul', 'onnx::Add_6500_output_quantized_cast', 'MatMul_4825_quant_output_scale_mul', 'onnx::Add_6616_output_quantized_cast', 'MatMul_4908_quant_output_scale_mul', 'onnx::Add_6632_output_quantized_cast', 'MatMul_4923_quant_output_scale_mul', 'onnx::Add_6636_output_quantized_cast', 'MatMul_4926_quant_output_scale_mul', 'onnx::Add_6651_output_quantized_cast', 'MatMul_4940_quant_output_scale_mul', 'onnx::Add_6767_output_quantized_cast', 'MatMul_5023_quant_output_scale_mul', 'onnx::Add_6783_output_quantized_cast', 'MatMul_5038_quant_output_scale_mul', 'onnx::Add_6787_output_quantized_cast', 'MatMul_5041_quant_output_scale_mul', 'onnx::Add_6802_output_quantized_cast', 'MatMul_5055_quant_output_scale_mul', 'onnx::Add_6918_output_quantized_cast', 'MatMul_5138_quant_output_scale_mul', 'onnx::Add_6934_output_quantized_cast', 'MatMul_5153_quant_output_scale_mul', 'onnx::Add_6938_output_quantized_cast', 'MatMul_5156_quant_output_scale_mul', 'onnx::Add_6953_output_quantized_cast', 'MatMul_5170_quant_output_scale_mul', 'onnx::Add_7069_output_quantized_cast', 'MatMul_5253_quant_output_scale_mul', 'onnx::Add_7085_output_quantized_cast', 'MatMul_5268_quant_output_scale_mul', 'onnx::Add_7089_output_quantized_cast', 'MatMul_5271_quant_output_scale_mul', 'onnx::Add_7104_output_quantized_cast', 'MatMul_5285_quant_output_scale_mul', 'onnx::Add_7220_output_quantized_cast', 'MatMul_5368_quant_output_scale_mul', 'onnx::Add_7236_output_quantized_cast', 'MatMul_5383_quant_output_scale_mul', 'onnx::Add_7240_output_quantized_cast', 'MatMul_5386_quant_output_scale_mul', 'onnx::Add_7255_output_quantized_cast', 'MatMul_5400_quant_output_scale_mul', 'onnx::Add_7371_output_quantized_cast', 'MatMul_5483_quant_output_scale_mul', 'onnx::Add_7387_output_quantized_cast', 'MatMul_5498_quant_output_scale_mul', 'onnx::Add_7391_output_quantized_cast', 'MatMul_5501_quant_output_scale_mul', 'onnx::Add_7406_output_quantized_cast', 'MatMul_5515_quant_output_scale_mul', 'onnx::Add_7522_output_quantized_cast', 'MatMul_5598_quant_output_scale_mul', 'onnx::Add_7538_output_quantized_cast', 'MatMul_5613_quant_output_scale_mul', 'onnx::Add_7542_output_quantized_cast', 'MatMul_5616_quant_output_scale_mul', 'onnx::Add_7557_output_quantized_cast', 'MatMul_5630_quant_output_scale_mul', 'onnx::Add_7673_output_quantized_cast', 'MatMul_5713_quant_output_scale_mul', 'onnx::Add_7689_output_quantized_cast', 'MatMul_5728_quant_output_scale_mul', 'onnx::Add_7693_output_quantized_cast', 'MatMul_5731_quant_output_scale_mul', 'onnx::Add_7708_output_quantized_cast', 'MatMul_5745_quant_output_scale_mul', 'onnx::Add_7824_output_quantized_cast', 'MatMul_5828_quant_output_scale_mul', 'onnx::Add_7840_output_quantized_cast', 'MatMul_5843_quant_output_scale_mul', 'onnx::Add_7844_output_quantized_cast', 'MatMul_5846_quant_output_scale_mul', 'onnx::Add_7859_output_quantized_cast', 'MatMul_5860_quant_output_scale_mul', 'onnx::Add_7975_output_quantized_cast', 'MatMul_5943_quant_output_scale_mul', 'onnx::Add_7991_output_quantized_cast', 'MatMul_5958_quant_output_scale_mul', 'onnx::Add_7995_output_quantized_cast', 'MatMul_5961_quant_output_scale_mul', 'onnx::Add_8010_output_quantized_cast', 'MatMul_5975_quant_output_scale_mul', 'onnx::Add_8126_output_quantized_cast', 'MatMul_6058_quant_output_scale_mul', 'onnx::Add_8142_output_quantized_cast', 'MatMul_6073_quant_output_scale_mul', 'onnx::Add_8146_output_quantized_cast', 'MatMul_6076_quant_output_scale_mul', 'onnx::Add_8161_output_quantized_cast', 'MatMul_6090_quant_output_scale_mul', 'onnx::Add_8277_output_quantized_cast', 'MatMul_6173_quant_output_scale_mul', 'onnx::Add_8293_output_quantized_cast', 'MatMul_6188_quant_output_scale_mul', 'onnx::Add_8297_output_quantized_cast', 'MatMul_6191_quant_output_scale_mul', 'onnx::Add_8312_output_quantized_cast', 'MatMul_6205_quant_output_scale_mul', 'onnx::Add_8428_output_quantized_cast', 'MatMul_6288_quant_output_scale_mul', 'onnx::Add_8444_output_quantized_cast', 'MatMul_6303_quant_output_scale_mul', 'onnx::Add_8448_output_quantized_cast', 'MatMul_6306_quant_output_scale_mul', 'onnx::Add_8463_output_quantized_cast', 'MatMul_6320_quant_output_scale_mul', 'onnx::Add_8579_output_quantized_cast', 'MatMul_6403_quant_output_scale_mul', 'onnx::Add_8595_output_quantized_cast', 'MatMul_6418_quant_output_scale_mul', 'onnx::Add_8599_output_quantized_cast', 'MatMul_6421_quant_output_scale_mul', 'onnx::Add_11626_output_quantized_cast', 'onnx::Add_11453_output_quantized_cast', 'onnx::Add_11280_output_quantized_cast', 'onnx::Add_11107_output_quantized_cast', 'onnx::Add_10934_output_quantized_cast', 'onnx::Add_10761_output_quantized_cast', 'onnx::Add_10588_output_quantized_cast', 'onnx::Add_10415_output_quantized_cast', 'onnx::Add_10242_output_quantized_cast', 'onnx::Add_10069_output_quantized_cast', 'onnx::Add_9896_output_quantized_cast', 'onnx::Add_9723_output_quantized_cast', 'onnx::Add_9550_output_quantized_cast', 'onnx::Add_9377_output_quantized_cast', 'onnx::Add_9204_output_quantized_cast', 'onnx::Add_9031_output_quantized_cast', 'MatMul_8848_quant_output_scale_mul', 'MatMul_8711_quant_output_scale_mul', 'MatMul_8574_quant_output_scale_mul', 'MatMul_8437_quant_output_scale_mul', 'MatMul_8300_quant_output_scale_mul', 'MatMul_8163_quant_output_scale_mul', 'MatMul_8026_quant_output_scale_mul', 'MatMul_7889_quant_output_scale_mul', 'MatMul_7752_quant_output_scale_mul', 'MatMul_7615_quant_output_scale_mul', 'MatMul_7478_quant_output_scale_mul', 'MatMul_7341_quant_output_scale_mul', 'MatMul_7204_quant_output_scale_mul', 'MatMul_7067_quant_output_scale_mul', 'MatMul_6930_quant_output_scale_mul', 'MatMul_6793_quant_output_scale_mul', 'onnx::Add_8657_output_quantized_cast', 'MatMul_6465_quant_output_scale_mul', 'onnx::Add_11914_output_quantized_cast', 'MatMul_8973_quant_output_scale_mul', 'onnx::Add_8958_output_quantized_cast', 'MatMul_6732_quant_output_scale_mul', 'input.815_output_quantized_cast', 'MatMul_6746_quant_output_scale_mul', 'onnx::Add_9028_output_quantized_cast', 'MatMul_6791_quant_output_scale_mul', 'onnx::Add_9116_output_quantized_cast', 'MatMul_6855_quant_output_scale_mul', 'onnx::Add_9131_output_quantized_cast', 'MatMul_6869_quant_output_scale_mul', 'input.839_output_quantized_cast', 'MatMul_6883_quant_output_scale_mul', 'onnx::Add_9201_output_quantized_cast', 'MatMul_6928_quant_output_scale_mul', 'onnx::Add_9289_output_quantized_cast', 'MatMul_6992_quant_output_scale_mul', 'onnx::Add_9304_output_quantized_cast', 'MatMul_7006_quant_output_scale_mul', 'input.863_output_quantized_cast', 'MatMul_7020_quant_output_scale_mul', 'onnx::Add_9374_output_quantized_cast', 'MatMul_7065_quant_output_scale_mul', 'onnx::Add_9462_output_quantized_cast', 'MatMul_7129_quant_output_scale_mul', 'onnx::Add_9477_output_quantized_cast', 'MatMul_7143_quant_output_scale_mul', 'input.887_output_quantized_cast', 'MatMul_7157_quant_output_scale_mul', 'onnx::Add_9547_output_quantized_cast', 'MatMul_7202_quant_output_scale_mul', 'onnx::Add_9635_output_quantized_cast', 'MatMul_7266_quant_output_scale_mul', 'onnx::Add_9650_output_quantized_cast', 'MatMul_7280_quant_output_scale_mul', 'input.911_output_quantized_cast', 'MatMul_7294_quant_output_scale_mul', 'onnx::Add_9720_output_quantized_cast', 'MatMul_7339_quant_output_scale_mul', 'onnx::Add_9808_output_quantized_cast', 'MatMul_7403_quant_output_scale_mul', 'onnx::Add_9823_output_quantized_cast', 'MatMul_7417_quant_output_scale_mul', 'input.935_output_quantized_cast', 'MatMul_7431_quant_output_scale_mul', 'onnx::Add_9893_output_quantized_cast', 'MatMul_7476_quant_output_scale_mul', 'onnx::Add_9981_output_quantized_cast', 'MatMul_7540_quant_output_scale_mul', 'onnx::Add_9996_output_quantized_cast', 'MatMul_7554_quant_output_scale_mul', 'input.959_output_quantized_cast', 'MatMul_7568_quant_output_scale_mul', 'onnx::Add_10066_output_quantized_cast', 'MatMul_7613_quant_output_scale_mul', 'onnx::Add_10154_output_quantized_cast', 'MatMul_7677_quant_output_scale_mul', 'onnx::Add_10169_output_quantized_cast', 'MatMul_7691_quant_output_scale_mul', 'input.983_output_quantized_cast', 'MatMul_7705_quant_output_scale_mul', 'onnx::Add_10239_output_quantized_cast', 'MatMul_7750_quant_output_scale_mul', 'onnx::Add_10327_output_quantized_cast', 'MatMul_7814_quant_output_scale_mul', 'onnx::Add_10342_output_quantized_cast', 'MatMul_7828_quant_output_scale_mul', 'input.1007_output_quantized_cast', 'MatMul_7842_quant_output_scale_mul', 'onnx::Add_10412_output_quantized_cast', 'MatMul_7887_quant_output_scale_mul', 'onnx::Add_10500_output_quantized_cast', 'MatMul_7951_quant_output_scale_mul', 'onnx::Add_10515_output_quantized_cast', 'MatMul_7965_quant_output_scale_mul', 'input.1031_output_quantized_cast', 'MatMul_7979_quant_output_scale_mul', 'onnx::Add_10585_output_quantized_cast', 'MatMul_8024_quant_output_scale_mul', 'onnx::Add_10673_output_quantized_cast', 'MatMul_8088_quant_output_scale_mul', 'onnx::Add_10688_output_quantized_cast', 'MatMul_8102_quant_output_scale_mul', 'input.1055_output_quantized_cast', 'MatMul_8116_quant_output_scale_mul', 'onnx::Add_10758_output_quantized_cast', 'MatMul_8161_quant_output_scale_mul', 'onnx::Add_10846_output_quantized_cast', 'MatMul_8225_quant_output_scale_mul', 'onnx::Add_10861_output_quantized_cast', 'MatMul_8239_quant_output_scale_mul', 'input.1079_output_quantized_cast', 'MatMul_8253_quant_output_scale_mul', 'onnx::Add_10931_output_quantized_cast', 'MatMul_8298_quant_output_scale_mul', 'onnx::Add_11019_output_quantized_cast', 'MatMul_8362_quant_output_scale_mul', 'onnx::Add_11034_output_quantized_cast', 'MatMul_8376_quant_output_scale_mul', 'input.1103_output_quantized_cast', 'MatMul_8390_quant_output_scale_mul', 'onnx::Add_11104_output_quantized_cast', 'MatMul_8435_quant_output_scale_mul', 'onnx::Add_11192_output_quantized_cast', 'MatMul_8499_quant_output_scale_mul', 'onnx::Add_11207_output_quantized_cast', 'MatMul_8513_quant_output_scale_mul', 'input.1127_output_quantized_cast', 'MatMul_8527_quant_output_scale_mul', 'onnx::Add_11277_output_quantized_cast', 'MatMul_8572_quant_output_scale_mul', 'onnx::Add_11365_output_quantized_cast', 'MatMul_8636_quant_output_scale_mul', 'onnx::Add_11380_output_quantized_cast', 'MatMul_8650_quant_output_scale_mul', 'input.1151_output_quantized_cast', 'MatMul_8664_quant_output_scale_mul', 'onnx::Add_11450_output_quantized_cast', 'MatMul_8709_quant_output_scale_mul', 'onnx::Add_11538_output_quantized_cast', 'MatMul_8773_quant_output_scale_mul', 'onnx::Add_11553_output_quantized_cast', 'MatMul_8787_quant_output_scale_mul', 'input.1175_output_quantized_cast', 'MatMul_8801_quant_output_scale_mul', 'onnx::Add_11623_output_quantized_cast', 'MatMul_8846_quant_output_scale_mul', 'onnx::Add_11711_output_quantized_cast', 'MatMul_8910_quant_output_scale_mul', 'onnx::Add_11726_output_quantized_cast', 'MatMul_8924_quant_output_scale_mul', 'input.1199_output_quantized_cast', 'MatMul_8938_quant_output_scale_mul', 'onnx::Add_11754_output_quantized_cast', 'MatMul_8950_quant_output_scale_mul'] WARNING:root:Please consider to run pre-processing before quantization. Refer to example: https://github.com/microsoft/onnxruntime-inference-examples/blob/main/quantization/image_classification/cpu/ReadMe.md

Xiemarc · 2024-10-23T07:53:05Z

@Think0508 已经更新了构建说明，应该可以本地复现。

感谢您的分享！反馈：我已经成功本地复现，语音模型运转正常。在quantize-model这一步和之前一样，都会报很多 warning。不过看起来似乎没有影响到最终的model-int8.onnx。

我将我构建完毕的模型文件夹上传到了huggingface（版本为2024-09-25更新，至20241008为最新），可以正常使用。有需要的人可以使用。

附上报错信息：

['onnx::Add_1065_output_quantized_cast', 'MatMul_686_quant_output_scale_mul', 'onnx::Add_1181_output_quantized_cast', 'MatMul_769_quant_output_scale_mul', 'onnx::Add_1196_output_quantized_cast', 'MatMul_783_quant_output_scale_mul', 'onnx::Add_1200_output_quantized_cast', 'MatMul_786_quant_output_scale_mul', 'onnx::Add_1215_output_quantized_cast', 'MatMul_800_quant_output_scale_mul', 'onnx::Add_1331_output_quantized_cast', 'MatMul_883_quant_output_scale_mul', 'onnx::Add_1347_output_quantized_cast', 'MatMul_898_quant_output_scale_mul', 'onnx::Add_1351_output_quantized_cast', 'MatMul_901_quant_output_scale_mul', 'onnx::Add_1366_output_quantized_cast', 'MatMul_915_quant_output_scale_mul', 'onnx::Add_1482_output_quantized_cast', 'MatMul_998_quant_output_scale_mul', 'onnx::Add_1498_output_quantized_cast', 'MatMul_1013_quant_output_scale_mul', 'onnx::Add_1502_output_quantized_cast', 'MatMul_1016_quant_output_scale_mul', 'onnx::Add_1517_output_quantized_cast', 'MatMul_1030_quant_output_scale_mul', 'onnx::Add_1633_output_quantized_cast', 'MatMul_1113_quant_output_scale_mul', 'onnx::Add_1649_output_quantized_cast', 'MatMul_1128_quant_output_scale_mul', 'onnx::Add_1653_output_quantized_cast', 'MatMul_1131_quant_output_scale_mul', 'onnx::Add_1668_output_quantized_cast', 'MatMul_1145_quant_output_scale_mul', 'onnx::Add_1784_output_quantized_cast', 'MatMul_1228_quant_output_scale_mul', 'onnx::Add_1800_output_quantized_cast', 'MatMul_1243_quant_output_scale_mul', 'onnx::Add_1804_output_quantized_cast', 'MatMul_1246_quant_output_scale_mul', 'onnx::Add_1819_output_quantized_cast', 'MatMul_1260_quant_output_scale_mul', 'onnx::Add_1935_output_quantized_cast', 'MatMul_1343_quant_output_scale_mul', 'onnx::Add_1951_output_quantized_cast', 'MatMul_1358_quant_output_scale_mul', 'onnx::Add_1955_output_quantized_cast', 'MatMul_1361_quant_output_scale_mul', 'onnx::Add_1970_output_quantized_cast', 'MatMul_1375_quant_output_scale_mul', 'onnx::Add_2086_output_quantized_cast', 'MatMul_1458_quant_output_scale_mul', 'onnx::Add_2102_output_quantized_cast', 'MatMul_1473_quant_output_scale_mul', 'onnx::Add_2106_output_quantized_cast', 'MatMul_1476_quant_output_scale_mul', 'onnx::Add_2121_output_quantized_cast', 'MatMul_1490_quant_output_scale_mul', 'onnx::Add_2237_output_quantized_cast', 'MatMul_1573_quant_output_scale_mul', 'onnx::Add_2253_output_quantized_cast', 'MatMul_1588_quant_output_scale_mul', 'onnx::Add_2257_output_quantized_cast', 'MatMul_1591_quant_output_scale_mul', 'onnx::Add_2272_output_quantized_cast', 'MatMul_1605_quant_output_scale_mul', 'onnx::Add_2388_output_quantized_cast', 'MatMul_1688_quant_output_scale_mul', 'onnx::Add_2404_output_quantized_cast', 'MatMul_1703_quant_output_scale_mul', 'onnx::Add_2408_output_quantized_cast', 'MatMul_1706_quant_output_scale_mul', 'onnx::Add_2423_output_quantized_cast', 'MatMul_1720_quant_output_scale_mul', 'onnx::Add_2539_output_quantized_cast', 'MatMul_1803_quant_output_scale_mul', 'onnx::Add_2555_output_quantized_cast', 'MatMul_1818_quant_output_scale_mul', 'onnx::Add_2559_output_quantized_cast', 'MatMul_1821_quant_output_scale_mul', 'onnx::Add_2574_output_quantized_cast', 'MatMul_1835_quant_output_scale_mul', 'onnx::Add_2690_output_quantized_cast', 'MatMul_1918_quant_output_scale_mul', 'onnx::Add_2706_output_quantized_cast', 'MatMul_1933_quant_output_scale_mul', 'onnx::Add_2710_output_quantized_cast', 'MatMul_1936_quant_output_scale_mul', 'onnx::Add_2725_output_quantized_cast', 'MatMul_1950_quant_output_scale_mul', 'onnx::Add_2841_output_quantized_cast', 'MatMul_2033_quant_output_scale_mul', 'onnx::Add_2857_output_quantized_cast', 'MatMul_2048_quant_output_scale_mul', 'onnx::Add_2861_output_quantized_cast', 'MatMul_2051_quant_output_scale_mul', 'onnx::Add_2876_output_quantized_cast', 'MatMul_2065_quant_output_scale_mul', 'onnx::Add_2992_output_quantized_cast', 'MatMul_2148_quant_output_scale_mul', 'onnx::Add_3008_output_quantized_cast', 'MatMul_2163_quant_output_scale_mul', 'onnx::Add_3012_output_quantized_cast', 'MatMul_2166_quant_output_scale_mul', 'onnx::Add_3027_output_quantized_cast', 'MatMul_2180_quant_output_scale_mul', 'onnx::Add_3143_output_quantized_cast', 'MatMul_2263_quant_output_scale_mul', 'onnx::Add_3159_output_quantized_cast', 'MatMul_2278_quant_output_scale_mul', 'onnx::Add_3163_output_quantized_cast', 'MatMul_2281_quant_output_scale_mul', 'onnx::Add_3178_output_quantized_cast', 'MatMul_2295_quant_output_scale_mul', 'onnx::Add_3294_output_quantized_cast', 'MatMul_2378_quant_output_scale_mul', 'onnx::Add_3310_output_quantized_cast', 'MatMul_2393_quant_output_scale_mul', 'onnx::Add_3314_output_quantized_cast', 'MatMul_2396_quant_output_scale_mul', 'onnx::Add_3329_output_quantized_cast', 'MatMul_2410_quant_output_scale_mul', 'onnx::Add_3445_output_quantized_cast', 'MatMul_2493_quant_output_scale_mul', 'onnx::Add_3461_output_quantized_cast', 'MatMul_2508_quant_output_scale_mul', 'onnx::Add_3465_output_quantized_cast', 'MatMul_2511_quant_output_scale_mul', 'onnx::Add_3480_output_quantized_cast', 'MatMul_2525_quant_output_scale_mul', 'onnx::Add_3596_output_quantized_cast', 'MatMul_2608_quant_output_scale_mul', 'onnx::Add_3612_output_quantized_cast', 'MatMul_2623_quant_output_scale_mul', 'onnx::Add_3616_output_quantized_cast', 'MatMul_2626_quant_output_scale_mul', 'onnx::Add_3631_output_quantized_cast', 'MatMul_2640_quant_output_scale_mul', 'onnx::Add_3747_output_quantized_cast', 'MatMul_2723_quant_output_scale_mul', 'onnx::Add_3763_output_quantized_cast', 'MatMul_2738_quant_output_scale_mul', 'onnx::Add_3767_output_quantized_cast', 'MatMul_2741_quant_output_scale_mul', 'onnx::Add_3782_output_quantized_cast', 'MatMul_2755_quant_output_scale_mul', 'onnx::Add_3898_output_quantized_cast', 'MatMul_2838_quant_output_scale_mul', 'onnx::Add_3914_output_quantized_cast', 'MatMul_2853_quant_output_scale_mul', 'onnx::Add_3918_output_quantized_cast', 'MatMul_2856_quant_output_scale_mul', 'onnx::Add_3933_output_quantized_cast', 'MatMul_2870_quant_output_scale_mul', 'onnx::Add_4049_output_quantized_cast', 'MatMul_2953_quant_output_scale_mul', 'onnx::Add_4065_output_quantized_cast', 'MatMul_2968_quant_output_scale_mul', 'onnx::Add_4069_output_quantized_cast', 'MatMul_2971_quant_output_scale_mul', 'onnx::Add_4084_output_quantized_cast', 'MatMul_2985_quant_output_scale_mul', 'onnx::Add_4200_output_quantized_cast', 'MatMul_3068_quant_output_scale_mul', 'onnx::Add_4216_output_quantized_cast', 'MatMul_3083_quant_output_scale_mul', 'onnx::Add_4220_output_quantized_cast', 'MatMul_3086_quant_output_scale_mul', 'onnx::Add_4235_output_quantized_cast', 'MatMul_3100_quant_output_scale_mul', 'onnx::Add_4351_output_quantized_cast', 'MatMul_3183_quant_output_scale_mul', 'onnx::Add_4367_output_quantized_cast', 'MatMul_3198_quant_output_scale_mul', 'onnx::Add_4371_output_quantized_cast', 'MatMul_3201_quant_output_scale_mul', 'onnx::Add_4386_output_quantized_cast', 'MatMul_3215_quant_output_scale_mul', 'onnx::Add_4502_output_quantized_cast', 'MatMul_3298_quant_output_scale_mul', 'onnx::Add_4518_output_quantized_cast', 'MatMul_3313_quant_output_scale_mul', 'onnx::Add_4522_output_quantized_cast', 'MatMul_3316_quant_output_scale_mul', 'onnx::Add_4537_output_quantized_cast', 'MatMul_3330_quant_output_scale_mul', 'onnx::Add_4653_output_quantized_cast', 'MatMul_3413_quant_output_scale_mul', 'onnx::Add_4669_output_quantized_cast', 'MatMul_3428_quant_output_scale_mul', 'onnx::Add_4673_output_quantized_cast', 'MatMul_3431_quant_output_scale_mul', 'onnx::Add_4688_output_quantized_cast', 'MatMul_3445_quant_output_scale_mul', 'onnx::Add_4804_output_quantized_cast', 'MatMul_3528_quant_output_scale_mul', 'onnx::Add_4820_output_quantized_cast', 'MatMul_3543_quant_output_scale_mul', 'onnx::Add_4824_output_quantized_cast', 'MatMul_3546_quant_output_scale_mul', 'onnx::Add_4839_output_quantized_cast', 'MatMul_3560_quant_output_scale_mul', 'onnx::Add_4955_output_quantized_cast', 'MatMul_3643_quant_output_scale_mul', 'onnx::Add_4971_output_quantized_cast', 'MatMul_3658_quant_output_scale_mul', 'onnx::Add_4975_output_quantized_cast', 'MatMul_3661_quant_output_scale_mul', 'onnx::Add_4990_output_quantized_cast', 'MatMul_3675_quant_output_scale_mul', 'onnx::Add_5106_output_quantized_cast', 'MatMul_3758_quant_output_scale_mul', 'onnx::Add_5122_output_quantized_cast', 'MatMul_3773_quant_output_scale_mul', 'onnx::Add_5126_output_quantized_cast', 'MatMul_3776_quant_output_scale_mul', 'onnx::Add_5141_output_quantized_cast', 'MatMul_3790_quant_output_scale_mul', 'onnx::Add_5257_output_quantized_cast', 'MatMul_3873_quant_output_scale_mul', 'onnx::Add_5273_output_quantized_cast', 'MatMul_3888_quant_output_scale_mul', 'onnx::Add_5277_output_quantized_cast', 'MatMul_3891_quant_output_scale_mul', 'onnx::Add_5292_output_quantized_cast', 'MatMul_3905_quant_output_scale_mul', 'onnx::Add_5408_output_quantized_cast', 'MatMul_3988_quant_output_scale_mul', 'onnx::Add_5424_output_quantized_cast', 'MatMul_4003_quant_output_scale_mul', 'onnx::Add_5428_output_quantized_cast', 'MatMul_4006_quant_output_scale_mul', 'onnx::Add_5443_output_quantized_cast', 'MatMul_4020_quant_output_scale_mul', 'onnx::Add_5559_output_quantized_cast', 'MatMul_4103_quant_output_scale_mul', 'onnx::Add_5575_output_quantized_cast', 'MatMul_4118_quant_output_scale_mul', 'onnx::Add_5579_output_quantized_cast', 'MatMul_4121_quant_output_scale_mul', 'onnx::Add_5594_output_quantized_cast', 'MatMul_4135_quant_output_scale_mul', 'onnx::Add_5710_output_quantized_cast', 'MatMul_4218_quant_output_scale_mul', 'onnx::Add_5726_output_quantized_cast', 'MatMul_4233_quant_output_scale_mul', 'onnx::Add_5730_output_quantized_cast', 'MatMul_4236_quant_output_scale_mul', 'onnx::Add_5745_output_quantized_cast', 'MatMul_4250_quant_output_scale_mul', 'onnx::Add_5861_output_quantized_cast', 'MatMul_4333_quant_output_scale_mul', 'onnx::Add_5877_output_quantized_cast', 'MatMul_4348_quant_output_scale_mul', 'onnx::Add_5881_output_quantized_cast', 'MatMul_4351_quant_output_scale_mul', 'onnx::Add_5896_output_quantized_cast', 'MatMul_4365_quant_output_scale_mul', 'onnx::Add_6012_output_quantized_cast', 'MatMul_4448_quant_output_scale_mul', 'onnx::Add_6028_output_quantized_cast', 'MatMul_4463_quant_output_scale_mul', 'onnx::Add_6032_output_quantized_cast', 'MatMul_4466_quant_output_scale_mul', 'onnx::Add_6047_output_quantized_cast', 'MatMul_4480_quant_output_scale_mul', 'onnx::Add_6163_output_quantized_cast', 'MatMul_4563_quant_output_scale_mul', 'onnx::Add_6179_output_quantized_cast', 'MatMul_4578_quant_output_scale_mul', 'onnx::Add_6183_output_quantized_cast', 'MatMul_4581_quant_output_scale_mul', 'onnx::Add_6198_output_quantized_cast', 'MatMul_4595_quant_output_scale_mul', 'onnx::Add_6314_output_quantized_cast', 'MatMul_4678_quant_output_scale_mul', 'onnx::Add_6330_output_quantized_cast', 'MatMul_4693_quant_output_scale_mul', 'onnx::Add_6334_output_quantized_cast', 'MatMul_4696_quant_output_scale_mul', 'onnx::Add_6349_output_quantized_cast', 'MatMul_4710_quant_output_scale_mul', 'onnx::Add_6465_output_quantized_cast', 'MatMul_4793_quant_output_scale_mul', 'onnx::Add_6481_output_quantized_cast', 'MatMul_4808_quant_output_scale_mul', 'onnx::Add_6485_output_quantized_cast', 'MatMul_4811_quant_output_scale_mul', 'onnx::Add_6500_output_quantized_cast', 'MatMul_4825_quant_output_scale_mul', 'onnx::Add_6616_output_quantized_cast', 'MatMul_4908_quant_output_scale_mul', 'onnx::Add_6632_output_quantized_cast', 'MatMul_4923_quant_output_scale_mul', 'onnx::Add_6636_output_quantized_cast', 'MatMul_4926_quant_output_scale_mul', 'onnx::Add_6651_output_quantized_cast', 'MatMul_4940_quant_output_scale_mul', 'onnx::Add_6767_output_quantized_cast', 'MatMul_5023_quant_output_scale_mul', 'onnx::Add_6783_output_quantized_cast', 'MatMul_5038_quant_output_scale_mul', 'onnx::Add_6787_output_quantized_cast', 'MatMul_5041_quant_output_scale_mul', 'onnx::Add_6802_output_quantized_cast', 'MatMul_5055_quant_output_scale_mul', 'onnx::Add_6918_output_quantized_cast', 'MatMul_5138_quant_output_scale_mul', 'onnx::Add_6934_output_quantized_cast', 'MatMul_5153_quant_output_scale_mul', 'onnx::Add_6938_output_quantized_cast', 'MatMul_5156_quant_output_scale_mul', 'onnx::Add_6953_output_quantized_cast', 'MatMul_5170_quant_output_scale_mul', 'onnx::Add_7069_output_quantized_cast', 'MatMul_5253_quant_output_scale_mul', 'onnx::Add_7085_output_quantized_cast', 'MatMul_5268_quant_output_scale_mul', 'onnx::Add_7089_output_quantized_cast', 'MatMul_5271_quant_output_scale_mul', 'onnx::Add_7104_output_quantized_cast', 'MatMul_5285_quant_output_scale_mul', 'onnx::Add_7220_output_quantized_cast', 'MatMul_5368_quant_output_scale_mul', 'onnx::Add_7236_output_quantized_cast', 'MatMul_5383_quant_output_scale_mul', 'onnx::Add_7240_output_quantized_cast', 'MatMul_5386_quant_output_scale_mul', 'onnx::Add_7255_output_quantized_cast', 'MatMul_5400_quant_output_scale_mul', 'onnx::Add_7371_output_quantized_cast', 'MatMul_5483_quant_output_scale_mul', 'onnx::Add_7387_output_quantized_cast', 'MatMul_5498_quant_output_scale_mul', 'onnx::Add_7391_output_quantized_cast', 'MatMul_5501_quant_output_scale_mul', 'onnx::Add_7406_output_quantized_cast', 'MatMul_5515_quant_output_scale_mul', 'onnx::Add_7522_output_quantized_cast', 'MatMul_5598_quant_output_scale_mul', 'onnx::Add_7538_output_quantized_cast', 'MatMul_5613_quant_output_scale_mul', 'onnx::Add_7542_output_quantized_cast', 'MatMul_5616_quant_output_scale_mul', 'onnx::Add_7557_output_quantized_cast', 'MatMul_5630_quant_output_scale_mul', 'onnx::Add_7673_output_quantized_cast', 'MatMul_5713_quant_output_scale_mul', 'onnx::Add_7689_output_quantized_cast', 'MatMul_5728_quant_output_scale_mul', 'onnx::Add_7693_output_quantized_cast', 'MatMul_5731_quant_output_scale_mul', 'onnx::Add_7708_output_quantized_cast', 'MatMul_5745_quant_output_scale_mul', 'onnx::Add_7824_output_quantized_cast', 'MatMul_5828_quant_output_scale_mul', 'onnx::Add_7840_output_quantized_cast', 'MatMul_5843_quant_output_scale_mul', 'onnx::Add_7844_output_quantized_cast', 'MatMul_5846_quant_output_scale_mul', 'onnx::Add_7859_output_quantized_cast', 'MatMul_5860_quant_output_scale_mul', 'onnx::Add_7975_output_quantized_cast', 'MatMul_5943_quant_output_scale_mul', 'onnx::Add_7991_output_quantized_cast', 'MatMul_5958_quant_output_scale_mul', 'onnx::Add_7995_output_quantized_cast', 'MatMul_5961_quant_output_scale_mul', 'onnx::Add_8010_output_quantized_cast', 'MatMul_5975_quant_output_scale_mul', 'onnx::Add_8126_output_quantized_cast', 'MatMul_6058_quant_output_scale_mul', 'onnx::Add_8142_output_quantized_cast', 'MatMul_6073_quant_output_scale_mul', 'onnx::Add_8146_output_quantized_cast', 'MatMul_6076_quant_output_scale_mul', 'onnx::Add_8161_output_quantized_cast', 'MatMul_6090_quant_output_scale_mul', 'onnx::Add_8277_output_quantized_cast', 'MatMul_6173_quant_output_scale_mul', 'onnx::Add_8293_output_quantized_cast', 'MatMul_6188_quant_output_scale_mul', 'onnx::Add_8297_output_quantized_cast', 'MatMul_6191_quant_output_scale_mul', 'onnx::Add_8312_output_quantized_cast', 'MatMul_6205_quant_output_scale_mul', 'onnx::Add_8428_output_quantized_cast', 'MatMul_6288_quant_output_scale_mul', 'onnx::Add_8444_output_quantized_cast', 'MatMul_6303_quant_output_scale_mul', 'onnx::Add_8448_output_quantized_cast', 'MatMul_6306_quant_output_scale_mul', 'onnx::Add_8463_output_quantized_cast', 'MatMul_6320_quant_output_scale_mul', 'onnx::Add_8579_output_quantized_cast', 'MatMul_6403_quant_output_scale_mul', 'onnx::Add_8595_output_quantized_cast', 'MatMul_6418_quant_output_scale_mul', 'onnx::Add_8599_output_quantized_cast', 'MatMul_6421_quant_output_scale_mul', 'onnx::Add_11626_output_quantized_cast', 'onnx::Add_11453_output_quantized_cast', 'onnx::Add_11280_output_quantized_cast', 'onnx::Add_11107_output_quantized_cast', 'onnx::Add_10934_output_quantized_cast', 'onnx::Add_10761_output_quantized_cast', 'onnx::Add_10588_output_quantized_cast', 'onnx::Add_10415_output_quantized_cast', 'onnx::Add_10242_output_quantized_cast', 'onnx::Add_10069_output_quantized_cast', 'onnx::Add_9896_output_quantized_cast', 'onnx::Add_9723_output_quantized_cast', 'onnx::Add_9550_output_quantized_cast', 'onnx::Add_9377_output_quantized_cast', 'onnx::Add_9204_output_quantized_cast', 'onnx::Add_9031_output_quantized_cast', 'MatMul_8848_quant_output_scale_mul', 'MatMul_8711_quant_output_scale_mul', 'MatMul_8574_quant_output_scale_mul', 'MatMul_8437_quant_output_scale_mul', 'MatMul_8300_quant_output_scale_mul', 'MatMul_8163_quant_output_scale_mul', 'MatMul_8026_quant_output_scale_mul', 'MatMul_7889_quant_output_scale_mul', 'MatMul_7752_quant_output_scale_mul', 'MatMul_7615_quant_output_scale_mul', 'MatMul_7478_quant_output_scale_mul', 'MatMul_7341_quant_output_scale_mul', 'MatMul_7204_quant_output_scale_mul', 'MatMul_7067_quant_output_scale_mul', 'MatMul_6930_quant_output_scale_mul', 'MatMul_6793_quant_output_scale_mul', 'onnx::Add_8657_output_quantized_cast', 'MatMul_6465_quant_output_scale_mul', 'onnx::Add_11914_output_quantized_cast', 'MatMul_8973_quant_output_scale_mul', 'onnx::Add_8958_output_quantized_cast', 'MatMul_6732_quant_output_scale_mul', 'input.815_output_quantized_cast', 'MatMul_6746_quant_output_scale_mul', 'onnx::Add_9028_output_quantized_cast', 'MatMul_6791_quant_output_scale_mul', 'onnx::Add_9116_output_quantized_cast', 'MatMul_6855_quant_output_scale_mul', 'onnx::Add_9131_output_quantized_cast', 'MatMul_6869_quant_output_scale_mul', 'input.839_output_quantized_cast', 'MatMul_6883_quant_output_scale_mul', 'onnx::Add_9201_output_quantized_cast', 'MatMul_6928_quant_output_scale_mul', 'onnx::Add_9289_output_quantized_cast', 'MatMul_6992_quant_output_scale_mul', 'onnx::Add_9304_output_quantized_cast', 'MatMul_7006_quant_output_scale_mul', 'input.863_output_quantized_cast', 'MatMul_7020_quant_output_scale_mul', 'onnx::Add_9374_output_quantized_cast', 'MatMul_7065_quant_output_scale_mul', 'onnx::Add_9462_output_quantized_cast', 'MatMul_7129_quant_output_scale_mul', 'onnx::Add_9477_output_quantized_cast', 'MatMul_7143_quant_output_scale_mul', 'input.887_output_quantized_cast', 'MatMul_7157_quant_output_scale_mul', 'onnx::Add_9547_output_quantized_cast', 'MatMul_7202_quant_output_scale_mul', 'onnx::Add_9635_output_quantized_cast', 'MatMul_7266_quant_output_scale_mul', 'onnx::Add_9650_output_quantized_cast', 'MatMul_7280_quant_output_scale_mul', 'input.911_output_quantized_cast', 'MatMul_7294_quant_output_scale_mul', 'onnx::Add_9720_output_quantized_cast', 'MatMul_7339_quant_output_scale_mul', 'onnx::Add_9808_output_quantized_cast', 'MatMul_7403_quant_output_scale_mul', 'onnx::Add_9823_output_quantized_cast', 'MatMul_7417_quant_output_scale_mul', 'input.935_output_quantized_cast', 'MatMul_7431_quant_output_scale_mul', 'onnx::Add_9893_output_quantized_cast', 'MatMul_7476_quant_output_scale_mul', 'onnx::Add_9981_output_quantized_cast', 'MatMul_7540_quant_output_scale_mul', 'onnx::Add_9996_output_quantized_cast', 'MatMul_7554_quant_output_scale_mul', 'input.959_output_quantized_cast', 'MatMul_7568_quant_output_scale_mul', 'onnx::Add_10066_output_quantized_cast', 'MatMul_7613_quant_output_scale_mul', 'onnx::Add_10154_output_quantized_cast', 'MatMul_7677_quant_output_scale_mul', 'onnx::Add_10169_output_quantized_cast', 'MatMul_7691_quant_output_scale_mul', 'input.983_output_quantized_cast', 'MatMul_7705_quant_output_scale_mul', 'onnx::Add_10239_output_quantized_cast', 'MatMul_7750_quant_output_scale_mul', 'onnx::Add_10327_output_quantized_cast', 'MatMul_7814_quant_output_scale_mul', 'onnx::Add_10342_output_quantized_cast', 'MatMul_7828_quant_output_scale_mul', 'input.1007_output_quantized_cast', 'MatMul_7842_quant_output_scale_mul', 'onnx::Add_10412_output_quantized_cast', 'MatMul_7887_quant_output_scale_mul', 'onnx::Add_10500_output_quantized_cast', 'MatMul_7951_quant_output_scale_mul', 'onnx::Add_10515_output_quantized_cast', 'MatMul_7965_quant_output_scale_mul', 'input.1031_output_quantized_cast', 'MatMul_7979_quant_output_scale_mul', 'onnx::Add_10585_output_quantized_cast', 'MatMul_8024_quant_output_scale_mul', 'onnx::Add_10673_output_quantized_cast', 'MatMul_8088_quant_output_scale_mul', 'onnx::Add_10688_output_quantized_cast', 'MatMul_8102_quant_output_scale_mul', 'input.1055_output_quantized_cast', 'MatMul_8116_quant_output_scale_mul', 'onnx::Add_10758_output_quantized_cast', 'MatMul_8161_quant_output_scale_mul', 'onnx::Add_10846_output_quantized_cast', 'MatMul_8225_quant_output_scale_mul', 'onnx::Add_10861_output_quantized_cast', 'MatMul_8239_quant_output_scale_mul', 'input.1079_output_quantized_cast', 'MatMul_8253_quant_output_scale_mul', 'onnx::Add_10931_output_quantized_cast', 'MatMul_8298_quant_output_scale_mul', 'onnx::Add_11019_output_quantized_cast', 'MatMul_8362_quant_output_scale_mul', 'onnx::Add_11034_output_quantized_cast', 'MatMul_8376_quant_output_scale_mul', 'input.1103_output_quantized_cast', 'MatMul_8390_quant_output_scale_mul', 'onnx::Add_11104_output_quantized_cast', 'MatMul_8435_quant_output_scale_mul', 'onnx::Add_11192_output_quantized_cast', 'MatMul_8499_quant_output_scale_mul', 'onnx::Add_11207_output_quantized_cast', 'MatMul_8513_quant_output_scale_mul', 'input.1127_output_quantized_cast', 'MatMul_8527_quant_output_scale_mul', 'onnx::Add_11277_output_quantized_cast', 'MatMul_8572_quant_output_scale_mul', 'onnx::Add_11365_output_quantized_cast', 'MatMul_8636_quant_output_scale_mul', 'onnx::Add_11380_output_quantized_cast', 'MatMul_8650_quant_output_scale_mul', 'input.1151_output_quantized_cast', 'MatMul_8664_quant_output_scale_mul', 'onnx::Add_11450_output_quantized_cast', 'MatMul_8709_quant_output_scale_mul', 'onnx::Add_11538_output_quantized_cast', 'MatMul_8773_quant_output_scale_mul', 'onnx::Add_11553_output_quantized_cast', 'MatMul_8787_quant_output_scale_mul', 'input.1175_output_quantized_cast', 'MatMul_8801_quant_output_scale_mul', 'onnx::Add_11623_output_quantized_cast', 'MatMul_8846_quant_output_scale_mul', 'onnx::Add_11711_output_quantized_cast', 'MatMul_8910_quant_output_scale_mul', 'onnx::Add_11726_output_quantized_cast', 'MatMul_8924_quant_output_scale_mul', 'input.1199_output_quantized_cast', 'MatMul_8938_quant_output_scale_mul', 'onnx::Add_11754_output_quantized_cast', 'MatMul_8950_quant_output_scale_mul'] WARNING:root:Please consider to run pre-processing before quantization. Refer to example: https://github.com/microsoft/onnxruntime-inference-examples/blob/main/quantization/image_classification/cpu/ReadMe.md

请问下，模型文件我直接把文件夹 paraformer-offline-zh所有的都下载下来，然后替换就可以了吧

yy-zhong · 2024-10-23T08:32:31Z

@Xiemarc 是的，只要新的模型的参数和结构没有发生变化，可以直接替换并使用。

Xiemarc · 2024-10-23T08:48:45Z

@Xiemarc 是的，只要新的模型的参数和结构没有发生变化，可以直接替换并使用。

@yy-zhong 好的，已经替换成功了。我多问下哈，英语的那个模型方便也这样子生成下上传下吗。我也想替换下，抱歉抱歉

yy-zhong · 2024-10-23T10:10:32Z

@Xiemarc 用于英语转译的模型也是基于Paramformer的，我想是可以兼容的。但是新的模型可能会引入新的tokens.json列表，或许会和原有的tokens.json列表不同，所以有可能不成功。具体的情况应该还是要尝试了才知道吧。

csukuangfj · 2024-10-23T10:37:59Z

问个问题，为什么不直接使用 sherpa-onnx 提供的模型，而是要去自己转？

yy-zhong · 2024-10-23T14:22:42Z

@csukuangfj 这个issue最初是为了解决 https://huggingface.co/csukuangfj/sherpa-onnx-paraformer-zh-2024-03-09 链接中的模型下载后无法正常运行而提出的。下面的解决方案也是为了能在用户的本地环境中构建合适的量化版本，以供CPU使用。

qhgy mentioned this issue May 11, 2024

2个问题 H1DDENADM1N/CapsWriter-Offline#21

Closed

Think0508 mentioned this issue Oct 8, 2024

随着时间推移，新模型再不断更新，可以指导一下怎么构建模型嘛？ #167

Open

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

不兼容新模型，sherpa-onnx-paraformer-zh-2024-03-09 #120

不兼容新模型，sherpa-onnx-paraformer-zh-2024-03-09 #120

kebinzhi commented Apr 22, 2024

qhgy commented May 1, 2024

HustCoderHu commented May 4, 2024

yy-zhong commented May 8, 2024

qhgy commented May 11, 2024

yy-zhong commented May 12, 2024

qhgy commented May 12, 2024

yy-zhong commented May 13, 2024

qhgy commented May 13, 2024

yy-zhong commented May 13, 2024 •

edited

Loading

qhgy commented May 13, 2024 via email

Stanley121236 commented May 21, 2024

yy-zhong commented May 22, 2024

Stanley121236 commented May 22, 2024

yy-zhong commented May 25, 2024

Stanley121236 commented May 27, 2024

csukuangfj commented Jun 11, 2024

Stanley121236 commented Jun 17, 2024

csukuangfj commented Jun 18, 2024

yy-zhong commented Jun 18, 2024

zhai-hello commented Sep 13, 2024

csukuangfj commented Sep 13, 2024

Think0508 commented Oct 2, 2024

yy-zhong commented Oct 8, 2024

Think0508 commented Oct 8, 2024 •

edited

Loading

Xiemarc commented Oct 23, 2024

yy-zhong commented Oct 23, 2024

Xiemarc commented Oct 23, 2024

yy-zhong commented Oct 23, 2024

csukuangfj commented Oct 23, 2024

yy-zhong commented Oct 23, 2024

不兼容新模型，sherpa-onnx-paraformer-zh-2024-03-09 #120

不兼容新模型，sherpa-onnx-paraformer-zh-2024-03-09 #120

Comments

kebinzhi commented Apr 22, 2024

qhgy commented May 1, 2024

HustCoderHu commented May 4, 2024

yy-zhong commented May 8, 2024

qhgy commented May 11, 2024

yy-zhong commented May 12, 2024

qhgy commented May 12, 2024

yy-zhong commented May 13, 2024

qhgy commented May 13, 2024

yy-zhong commented May 13, 2024 • edited Loading

qhgy commented May 13, 2024 via email

Stanley121236 commented May 21, 2024

yy-zhong commented May 22, 2024

Stanley121236 commented May 22, 2024

在recognizer.decode_stream(s)時沒有任何回應。 代碼如下:

yy-zhong commented May 25, 2024

Stanley121236 commented May 27, 2024

csukuangfj commented Jun 11, 2024

Stanley121236 commented Jun 17, 2024

csukuangfj commented Jun 18, 2024

yy-zhong commented Jun 18, 2024

zhai-hello commented Sep 13, 2024

csukuangfj commented Sep 13, 2024

Think0508 commented Oct 2, 2024

yy-zhong commented Oct 8, 2024

Think0508 commented Oct 8, 2024 • edited Loading

Xiemarc commented Oct 23, 2024

yy-zhong commented Oct 23, 2024

Xiemarc commented Oct 23, 2024

yy-zhong commented Oct 23, 2024

csukuangfj commented Oct 23, 2024

yy-zhong commented Oct 23, 2024

yy-zhong commented May 13, 2024 •

edited

Loading

在recognizer.decode_stream(s)時沒有任何回應。
代碼如下:

Think0508 commented Oct 8, 2024 •

edited

Loading