[RFC] 026 - 多模型服务商二期： 支持本地 LLM （Ollama）

[arvinxx]

背景

一期 #737 已发布，最近有一个新的 PR 来支持 Ollama #1265 ，于是补一篇本地 LLM 实现的RFC。

核心诉求:

1. 支持本地模型

• [Request] LLM 适配 #151
• does is support model from vllm？ #732
• [Request] local models #1048
• [Request] 能增加自有模型的请求设置吗  #1198

2. 本地模型支持走本地请求

• [Question] 对话很慢，非常慢，比我本地部署的chatglm还慢 #772
• [Bug] 不支持本地的 API 代理 #1019

功能设计

Ollama Provider

其实 PR #1265 在现有架构下已经做的差不多了。但存在一个小问题是，当前架构下的所有chat 请求是从后端发起的，要结合本地 LLM，只能跑一个本地部署的 docker 才可以使用。无法在网页部署的版本中连通到本地。

client (浏览器端) 请求方案

因此未来还需要实现一个 #1257 ，进而可以支持浏览器直接向本地发送请求，这样哪怕是在线的网址，也能支持上 local LLM。

[thiner]

实际上，几乎所有流行的本地模型推理框架（例如FastChat, vLLM, ollama, localai, llama-cpp-python，等等）都兼容OpenAI 的API。这样的话其实只需要在LobeChat启动时配置OPEN_AI_PROXY=[本地模型推理服务的地址]就可以了。唯一的问题是每个推理框架对OpenAI API支持的程度不一样。这个需要用户自行权衡。

[sjy]

需要提供更好的 zero config 方案

• 服务提供方： 在部署环节可定制用户可选的模型列表
• 用户： 可以偏好设置在对话界面可以选择那些模型（当前受限在提供方已经pull的模型和preset list上，后期可以考虑扩展使用 ollama library 全列表，不过副作用是会打爆服务端存储空间，也许可以通过环境变量由服务提供发控制是否允许）
  
  @arvinxx 你觉得这个怎么样

[arvinxx]

我在想既然 ollama js 已经支持浏览器跑了，是不是可以这一次直接把这部分的实现做到 client 来？

[sjy]

纯用客户端的话，那调用模式就不是 open ai api的方式了，改动不小; 还是说 chat 部分不变？

[arvinxx]

openai 的包也是支持 client 调用的，所以 LobeOllamaAI 也可以在 client 端跑的，这个没有额外的开发成本。

主要是调度位置的区别，现在调用服务端接口的是这个地方：

lobe-chat/src/services/chat.ts

Lines 128 to 133 in 7d3c1b6

	return fetch(API_ENDPOINTS.chat(provider), {
	body: JSON.stringify(payload),
	headers,
	method: 'POST',
	signal,
	});

可能需要针对 ollama 这个 provider ，变成直接实例化 LobeOllamaAI ，然后直接调用 chat 方法，不走请求到服务端的方式。

如果我们确定在 client 做的话，我可以先把这个调度逻辑给做了，然后你参考这个调度方式，来实现其他 ollama service 的功能？看看这样如何？

[sjy]

可以，不阻塞，等你逻辑加了再迁移 chat 相关部分也可以