在手机上运行大模型（使用MLC-LLM）

[Valdanitooooo]

计划

• 使用https://github.com/mlc-ai/mlc-llm
• 用Qwen1.5-1.8B-Chat测试
• Android设备，骁龙8gen2，12GB内存

核心步骤

环境准备

按照文档操作即可：https://llm.mlc.ai/docs/deploy/android.html

1. 将模型文件转换为MLC模型

懒得转换可以下载官方转换好的：https://hf-mirror.com/mlc-ai

pwd
/home/valdanito/workspace/llmops/deploy/mlc-llm

# 显卡不是必须的，不加 --device cuda:0 默认是auto
mlc_llm convert_weight /home/valdanito/workspace/llmops/models/Qwen1.5-1.8B-Chat  --quantization q0f16 -o ./dist/Qwen1.5-1.8B-Chat-q0f16-MLC/ --device cuda:0

2. 生成MLC模型配置文件

mkdir dist

mlc_llm gen_config /home/valdanito/workspace/llmops/models/Qwen1.5-1.8B-Chat  --quantization q0f16 --model-type qwen2 --conv-template chatml --context-window-size 4096 -o ./dist/Qwen1.5-1.8B-Chat-q0f16-MLC/

3. 编译MLC模型Android库文件

mlc_llm compile ./dist/Qwen1.5-1.8B-Chat-q0f16-MLC/mlc-chat-config.json --device android -o ./dist/libs/Qwen1.5-1.8B-Chat-q0f16-android.tar

4. 编辑MLC模型配置文件

# 先备份
cp ./android/library/src/main/assets/app-config.json ./android/library/src/main/assets/app-config.json.bak

# 再重写个配置
vim ./android/library/src/main/assets/app-config.json

estimated_vram_bytes 参数随便填一下即可

{
  "model_list": [
    {
      "model_url": "https://huggingface.co/Qwen/Qwen1.5-1.8B-Chat",
      "model_lib": "qwen2_q0f16",
      "estimated_vram_bytes": 4348727787,
      "model_id": "Qwen1.5-1.8B-Chat-q0f16"  
    }
  ],
  "model_lib_path_for_prepare_libs": {
    "qwen2_q0f16": "/home/valdanito/workspace/llmops/deploy/mlc-llm/dist/libs/Qwen1.5-1.8B-Chat-q0f16-android.tar"
  }
}

5. MLC模型Android库文件 与 TVM Unity 的 Java 运行时捆绑

cd ./android/library/

./prepare_libs.sh

6. 打包apk文件并安装到手机中

pwd
/home/valdanito/workspace/llmops/deploy/mlc-llm/android

./gradlew assembleDebug

打包好apk文件会在下面这个目录中
ls app/build/outputs/apk/debug/

也可以直接用Android Studio 安装到手机

录了段视频

安装好后要把MLC模型导入到App数据目录

# 拷贝MLC模型到手机Download目录，顺便把目录名MLC后缀去掉，因为前面步骤4里面的配置文件中的model_id没有MLC后缀
adb push /home/valdanito/workspace/llmops/deploy/mlc-llm/dist/Qwen1.5-1.8B-Chat-q0f16-MLC /storage/emulated/0/Download/Qwen1.5-1.8B-Chat-q0f16

# 再把MLC模型从Download里移动到App的数据目录
adb shell "mv /storage/emulated/0/Download/Qwen1.5-1.8B-Chat-q0f16 /storage/emulated/0/Android/data/ai.mlc.mlcchat/files/"

重启App既可以开始使用

[panghongtao]

这个和官网的API手册不一样啊 这个像手册中IOS的做法。请问这个做法和 官网的mlc_llm package 方法有很大不同么？我可以添加你的联系方式么？有偿请教问题