Phi3 awq

[grimoire]

requirements

• PyTorch Engine AWQ support #1913

[AllentDan]

I tested InternVL2-4B, the AWQ of PyTorch backend worked fine

[lvhan028]

legency -> legacy
But I don't understand why we should make the NORM_TYPE_MAP=NORM_TYPE_MAP statement

[grimoire]

NORM_TYPE_MAP is not used in this file, unused import will lead to lint error. And I don't know if other files will reference it or not.

[lvhan028]

Get it. May fix the typo "legency -> legacy"

[douyh]

How can I use thehttps://github.com/InternLM/lmdeploy/releases/tag/v0.5.2.post1 merged version? The latest release version 请问这个PR是还没有合入到最新的release版本中吗？

[lvhan028]

合入到 v0.5.3 中了

[douyh]

合入到 v0.5.3 中了
量化的过程没有报错。
使用lmdeploy起server的时候报错了

model_name=InternVL2-4B-AWQ
CUDA_VISIBLE_DEVICES=1 lmdeploy serve api_server $model_name --backend turbomind --model-format awq  --server-port 10004 --session-len 100000 --tp 1 --server-name 0.0.0.0

错误

 undefined symbol: _ZN2at4_ops15sum_dim_IntList4callERKNS_6TensorEN3c1016OptionalArrayRefIlEEbNS5_8optionalINS5_10ScalarTypeEEE

@grimoire @lvhan028

因为提示我更新autoawq到0.1.8以上，我就pip install autoawq==0.1.8了。然后报的这个错误。

[douyh]

合入到 v0.5.3 中了
量化的过程没有报错。
使用lmdeploy起server的时候报错了

model_name=InternVL2-4B-AWQ
CUDA_VISIBLE_DEVICES=1 lmdeploy serve api_server $model_name --backend turbomind --model-format awq  --server-port 10004 --session-len 100000 --tp 1 --server-name 0.0.0.0

错误

 undefined symbol: _ZN2at4_ops15sum_dim_IntList4callERKNS_6TensorEN3c1016OptionalArrayRefIlEEbNS5_8optionalINS5_10ScalarTypeEEE

@grimoire @lvhan028

因为提示我更新autoawq到0.1.8以上，我就pip install autoawq==0.1.8了。然后报的这个错误。

autoawq和transformers升级到最新版本之后解决了😊