支持列表

LLM 模型支持列表

本地模型

本地 LLM 模型接入基于 FastChat 实现，支持模型如下：

• ChatGLM 全系类对话模型

• Orion 全系列对话模型，必须安装flash-attn 才能使用

• Qwen 全系列对话模型

• internlm 全系列对话模型

• Baichuan 全系列对话模型，必须降级transformer才能使用

• llama 全系列对话模型

• Vicuna 全系列对话模型

• mistral 全系列对话模型

• vivo-ai/BlueLM-7B-Chat

• 01-ai/Yi-34B-Chat

• BlinkDL/RWKV-4-Raven

• camel-ai/CAMEL-13B-Combined-Data

• databricks/dolly-v2-12b

• FreedomIntelligence/phoenix-inst-chat-7b

• h2oai/h2ogpt-gm-oasst1-en-2048-open-llama-7b

• lcw99/polyglot-ko-12.8b-chang-instruct-chat

• lmsys/fastchat-t5-3b-v1.0

• mosaicml/mpt-7b-chat

• Neutralzz/BiLLa-7B-SFT

• nomic-ai/gpt4all-13b-snoozy

• NousResearch/Nous-Hermes-13b

• openaccess-ai-collective/manticore-13b-chat-pyg

• OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5

• project-baize/baize-v2-7b

• Salesforce/codet5p-6b

• StabilityAI/stablelm-tuned-alpha-7b

• tiiuae/falcon-40b

• timdettmers/guanaco-33b-merged

• togethercomputer/RedPajama-INCITE-7B-Chat

• WizardLM/WizardLM-13B-V1.0

• WizardLM/WizardCoder-15B-V1.0

• HuggingFaceH4/starchat-beta

• FlagAlpha/Llama2-Chinese-13b-Chat and others

• BAAI/AquilaChat-7B

• all models of OpenOrca

• Spicyboros

• airoboros 2.2

• VMware's OpenLLaMa OpenInstruct

• 任何 EleutherAI 的 pythia 模型，如 pythia-6.9b

• 在以上模型基础上训练的任何 Peft 适配器。为了激活，模型路径中必须有 peft 。注意：如果加载多个peft模型，你可以通过在任何模型工作器中设置环境变量 PEFT_SHARE_BASE_WEIGHTS=true 来使它们共享基础模型的权重。

以上模型支持列表可能随 FastChat 更新而持续更新，可参考 FastChat 已支持模型列表。

联网模型

支持的联网模型

• 智谱AI 临时解决方案，不支持流式输出，尽情期待0.3.x
• 阿里云通义千问
• 百川
• ChatGPT
• Gimini
• Azure OpenAI
• MiniMax
• 讯飞星火
• 百度千帆
• 字节火山方舟

Embedding 模型支持列表

本地模型

本项目支持调用 HuggingFace 中的 Embedding 模型，已支持的 Embedding 模型如下：

MokaAI系列嵌入模型

• moka-ai/m3e-small
• moka-ai/m3e-base
• moka-ai/m3e-large

BAAI系列嵌入模型

• BAAI/bge-small-zh
• BAAI/bge-base-zh
• BAAI/bge-large-zh
• BAAI/bge-small-zh-v1.5
• BAAI/bge-base-zh-v1.5
• BAAI/bge-large-zh-v1.5
• BAAI/bge-large-zh-noinstruct
• BAAI/bge-reranker-large
• BAAI/bge-reranker-base

text2vec系列嵌入模型

• shibing624/text2vec-base-chinese-sentence
• shibing624/text2vec-base-chinese-paraphrase
• shibing624/text2vec-base-multilingual
• shibing624/text2vec-base-chinese
• shibing624/text2vec-bge-large-chinese
• GanymedeNil/text2vec-large-chinese

其他模型

• sensenova/piccolo-base-zh
• sensenova/piccolo-large-zh
• nghuyong/ernie-3.0-nano-zh
• nghuyong/ernie-3.0-base-zh

达摩院系列嵌入模型

• damo/nlp_gte_sentence-embedding_chinese-large

联网模型

除本地模型外，本项目也支持直接接入 OpenAI的在线嵌入模型。 支持的联网模型

• OpenAI/text-embedding-ada-002
• 智谱AI
• MiniMax
• 百度千帆
• 阿里云通义千问

分词器支持列表

Langchain 中的分词器

本项目支持调用 Langchain 的 Text Splitter 分词器以及基于此改进的自定义分词器，已支持的 Text Splitter 类型如下：

• CharacterTextSplitter
• LatexTextSplitter
• MarkdownHeaderTextSplitter
• MarkdownTextSplitter
• NLTKTextSplitter
• PythonCodeTextSplitter
• RecursiveCharacterTextSplitter
• SentenceTransformersTokenTextSplitter
• SpacyTextSplitter

自定义分词器

已经支持的定制分词器如下：

• AliTextSplitter
• ChineseRecursiveTextSplitter
• ChineseTextSplitter

向量数据库支持列表

本地向量数据库

目前支持的本地向量数据库列表如下：

• FAISS
• Milvus
• PGVector
• Chroma

联网向量数据库

• Zilliz

工具支持列表

Langchain工具

• Shell 工具，用于模拟当前的Linux Shell环境
• Youtube 工具，用于搜索Youtube的相关视频链接
• Wolfram 工具，用Wolfram来实现数学计算等

其他Langchain自带的工具也可以按照上述三个工具的方式来自己实现

本地工具

• 翻译工具，实现对输入的任意语言翻译。
• 数学工具，使用LLMMathChain 实现数学计算。
• 高级知识库工具，智能选择调用多个或者单个知识库并查询内容。
• 进阶知识库工具，智能选择调用一个最相近的知识库并查询内容。
• 基础知识库工具，选择指定的一个知识库并回答。

联网工具

• 天气工具，使用自定义的LLMWetherChain实现天气查询，调用和风天气API。

• 搜索工具，使用我们的搜索API来实现搜索并概括内容。

• 我们期待开发者共享更多的工具，帮助项目生态完善