forked from wenda-LLM/wenda
-
Notifications
You must be signed in to change notification settings - Fork 0
/
example.config.xml
237 lines (237 loc) · 8.64 KB
/
example.config.xml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<General>
<property>
<name>Logging</name>
<value>False</value>
<description>日志</description>
</property>
<property>
<name>Port</name>
<value>17860</value>
<description>WebUI 默认启动端口号</description>
</property>
<property>
<name>LLM_Type</name>
<value>rwkv</value>
<description>LLM模型类型:glm6b、rwkv、llama、chatglm</description>
</property>
</General>
<Models>
<RWKV>
<property>
<name>Path</name>
<value>model/RWKV-4-Raven-7B-v10-Eng49%25-Chn50%25-Other1%25-20230420-ctx4096.pth</value>
<description>rwkv模型位置</description>
</property>
<property>
<name>Strategy</name>
<value>cuda fp16i8 *18+</value>
<description>rwkv模型参数</description>
</property>
<property>
<name>HistoryMode</name>
<value>string</value>
<description>rwkv历史记录实现方式：state、string</description>
</property>
</RWKV>
<GLM6B>
<property>
<name>Path</name>
<value>model/chatglm-6b-int4</value>
<description>glm模型位置</description>
</property>
<property>
<name>Strategy</name>
<value>cuda fp16</value>
<description>glm 模型参数 支持：
"cuda fp16" 所有glm模型 要直接跑在gpu上都可以使用这个参数
"cuda fp16i8" fp16原生模型 要自行量化为int8跑在gpu上可以使用这个参数
"cuda fp16i4" fp16原生模型 要自行量化为int4跑在gpu上可以使用这个参数
"cpu fp32" 所有glm模型 要直接跑在cpu上都可以使用这个参数
"cpu fp16i8" fp16原生模型 要自行量化为int8跑在cpu上可以使用这个参数
"cpu fp16i4" fp16原生模型要 自行量化为int4跑在cpu上可以使用这个参数
</description>
</property>
<property>
<name>Lora</name>
<value></value>
<description>glm-lora模型位置</description>
</property>
</GLM6B>
<LLAMA>
<property>
<name>Path</name>
<value>model/ggml-vicuna-13b-4bit-rev1.bin</value>
<description>llama模型位置</description>
</property>
<property>
<name>Strategy</name>
<value></value>
<description>llama模型参数 暂时不用</description>
</property>
</LLAMA>
<LLAMA>
<property>
<name>Api_key</name>
<value></value>
<description>智谱AI开放平台api key</description>
</property>
<property>
<name>Public_key</name>
<value></value>
<description>智谱AI开放平台public key</description>
</property>
</LLAMA>
</Models>
<Library>
<property>
<name>Type</name>
<value>st</value>
<description>知识库类型:
bing → cn.bing搜索，仅国内可用
fess → fess搜索引擎
mix → 知识库融合,需设置参数
st → sentence_transformers,内测版本
kg → 知识图谱,暂未启用
</description>
</property>
<property>
<name>Show_Soucre</name>
<value>False</value>
<description>知识库显示来源</description>
</property>
<property>
<name>Size</name>
<value>200</value>
<description>知识库最大长度</description>
</property>
<property>
<name>Step</name>
<value>2</value>
<description>知识库默认上下文步长</description>
</property>
<MIX>
<property>
<name>Strategy</name>
<value>st:2 bing:5</value>
<description>知识库融合参数</description>
</property>
<property>
<name>Count</name>
<value>5</value>
<description>知识库抽取数量</description>
</property>
</MIX>
<BING>
<property>
<name>Count</name>
<value>5</value>
<description>知识库抽取数量</description>
</property>
<property>
<name>Academic</name>
<value>True</value>
<description>是否使用必应学术</description>
</property>
<property>
<name>Searc_Site</name>
<value>www.12371.cn</value>
<description>cn.bing站内搜索网址: 共产党员网,留空不使用</description>
</property>
</BING>
<FESS>
<property>
<name>Count</name>
<value>1</value>
<description>知识库抽取数量</description>
</property>
<property>
<name>Fess_Host</name>
<value>127.0.0.1:8080</value>
<description>Fess搜索引擎的部署地址</description>
</property>
</FESS>
<ST>
<property>
<name>Path</name>
<value>txt</value>
<description>知识库文本路径</description>
</property>
<property>
<name>Size</name>
<value>20</value>
<description>分块大小</description>
</property>
<property>
<name>Overlap</name>
<value>0</value>
<description>分块重叠长度</description>
</property>
<property>
<name>Count</name>
<value>5</value>
<description>知识库抽取数量</description>
</property>
<property>
<name>Model_Path</name>
<value>model/text2vec-large-chinese</value>
<description>向量模型存储路径</description>
</property>
<property>
<name>Device</name>
<value>cpu</value>
<description>sentence_transformers运行设备:cpu、cuda。仅用于查找，索引强制使用cuda</description>
</property>
</ST>
<QDRANT>
<property>
<name>Path</name>
<value>txt</value>
<description>知识库文本路径</description>
</property>
<property>
<name>Model_Path</name>
<value>model/text2vec-large-chinese</value>
<description>向量模型存储路径</description>
</property>
<property>
<name>Qdrant_Host</name>
<value>http://localhost:6333</value>
<description>qdrant服务地址</description>
</property>
<property>
<name>Device</name>
<value>cpu</value>
<description>qdrant运行设备</description>
</property>
<property>
<name>Collection</name>
<value>qa_collection</value>
<description>qdrant集合名称</description>
</property>
</QDRANT>
<KG>
<property>
<name>Count</name>
<value>5</value>
<description>知识库抽取数量</description>
</property>
<property>
<name>Knowledge_Path</name>
<value></value>
<description>知识库的文件夹目录名称，若留空则为txt</description>
</property>
<property>
<name>Graph_Host</name>
<value></value>
<description>图数据库部署地址</description>
</property>
<property>
<name>Model_Path</name>
<value></value>
<description>信息抽取模型所在路径</description>
</property>
</KG>
</Library>
</configuration>