Home

Sakura模型部署教程

部署

如果你对LLM很熟悉，可以直接下载模型，并自行使用各种工具进行推理。

如果你不熟悉如何部署LLM，可以查看以下教程：

• Sakura 启动器 GUI：最简单，图形界面设置，机翻站使用推荐。维护：@PiDanShouRouZhouXD

• SakuraLLMServer: 优化过的参数，一键启动。维护：@neavo

• autodl租显卡部署教程(花钱租好显卡，独享的moment)

注：如果你并不具备一定的python和debug的能力，请一定不要用text-generation-webui部署模型！

注2：理论上我们对任何人均推荐llama.cpp（包括一键包、Linux下自行编译）的方式（也即上面的Sakura启动器GUI和SakuraLLMServer）部署模型。如果你对LLM与python非常熟悉且能够自行解决可能出现的一系列问题，也可以尝试使用python部署：

• python部署教程(有一定使用门槛, debug方便, 但目前outdated)

使用

当你使用上述的四种方法之一部署好模型之后，可以在下面的平台使用Sakura模型，这里给出了适配Sakura模型的各个工具：

• 轻小说机翻机器人：用于翻译轻小说

• LunaTranslator：用于实时翻译Galgame

• GalTransl：用于离线翻译Galgame与制作补丁

• AiNiee：用于翻译RPG游戏

• SakuraTranslator：用于翻译Unity引擎游戏

• RPGMaker_LLaMA_Translator：用于翻译RPGMaker引擎游戏

• manga-image-translator：用于翻译漫画

• BallonsTranslator：用于翻译漫画

其他

• KeywordGacha ：NER 工具（可以理解为抓专有名词工具），用于自动化生成专名表。