如何设置消息长度问题 #304
-
|
写了一长段代码，需要继续让它写，然后提示：总消息长度数量超过上限, 请减少上下文数量、减少消息长度或者开启新的会话 体验感突然下降，但又不知如何设置上下文继续联想 部署方式：docker-compose 如何设置上下文数量和最大问答总token数量的env |
Beta Was this translation helpful? Give feedback.
Replies: 2 comments 5 replies
-
|
这个截图有, 拉到最大值2048, 再长就没有办法了. |
Beta Was this translation helpful? Give feedback.
-
|
把上下文设置少一点. 另外, 你是已经更改了这个设置, 还是不知道有这个设置? 如果不知道, 是否愿意花点时间写一点文档? |
Beta Was this translation helpful? Give feedback.
-
|
请教一下如何设置默认最大，docker环境变量如何设置 |
Beta Was this translation helpful? Give feedback.
-
|
#287 添加个参数就可以在后台设置了, 但是最近我在忙别的事情, 你是否有时间试试? 就是在 chat_model 上加列, default_token_size, 前端在 SessionConfig 里面改一下. 代码倒是不多. |
Beta Was this translation helpful? Give feedback.
-
目前没有通过环境变量来设置的计划, 因为类似的设置已经有UI了. |
Beta Was this translation helpful? Give feedback.
-
最新的默认已经调到最大了。 |
Beta Was this translation helpful? Give feedback.
这个截图有, 拉到最大值2048, 再长就没有办法了.