[RFC] 061 - Multiple RAG Strategies Support

[cy948]

背景

RAG被广泛应用于增强LLM在没有内部知识支撑的场景下的性能表现。如领域知识敏感的任务1、幻觉问题的解决2 。近年来对RAG的Pipeline研究主要聚焦于对三个核心模块：Retrieval, Augment, Generation3的性能提升。因此，本RFC目标有：

• 对已有代码的重构，实现对更多不同RAG策略的支持。
• 除朴素RAG外，支持一些在公开数据集上“性能较好”的RAG策略。

思路

• 后端：重构RAG流水线中的retrieve部分。
• 前端：提供界面以便用户选择不同的RAG策略。

进展

• 2024/9/29: RFC初步提出、方案实验；

Reference

1 N. Kandpal, H. Deng, A. Roberts, E. Wallace, and C. Raffel, “Large language models struggle to learn long-tail knowledge,” in International Conference on Machine Learning. PMLR, 2023, pp. 15 696–15 707.
2 Y. Zhang, Y. Li, L. Cui, D. Cai, L. Liu, T. Fu, X. Huang, E. Zhao, Y. Zhang, Y. Chen et al., “Siren’s song in the ai ocean: A survey on hallucination in large language models,” arXiv preprint arXiv:2309.01219, 2023.
3 Gao Y, Xiong Y, Gao X, et al. Retrieval-augmented generation for large language models: A survey[J]. arXiv preprint arXiv:2312.10997, 2023.