[Feature] turbomind mode support Llava-Qwen with new ImageEncoder

[deepindeed2022]

Motivation

我们想实现 turbomind 的离线推理模型 llava-interleave-qwen-7b-hf, 请问有什么可以参考的案例吗？包括模型参数配置、模型转换/加载过程以及模型推理实现中的注意问题等。

Related resources

• 模型 ：https://huggingface.co/llava-hf/llava-interleave-qwen-7b-hf
• 模型定义： https://github.com/LLaVA-VL/LLaVA-NeXT/blob/main/llava/model/language_model/llava_qwen.py

Additional context

No response

[irexyc]

为了兼容pytorch/turbomind两个后端，我们把vision模型从vlm中拆了出来。

要支持turbomind离线推理，主要部分有三个：

1. turbomind 模型加载逻辑 (已支持的 llm 模型一般映射一下 key 就好)
2. vision 模型加载以及推理逻辑
3. 对话模版部分，主要是 IMAGE_TOKEN 如何插入的问题。

我觉得可以参考一下这个PR是如何做的，基本上覆盖了上面说的几个部分，如果有问题的话可以再讨论。
https://github.com/InternLM/lmdeploy/pull/1425/files