2312.09075.md

背景

• 背景
  当前的大型语言模型（LLMs）虽然在很多下游任务中表现出色，但却常常生成带有错误的信息，即所谓的“hallucination”现象，这严重影响了它们的可靠性。为了提升LLMs的可靠性并解决幻觉问题，应引导模型在生成文本时提供能够验证准确性的引用信息。

• 已有的工作 已有的LLMs的可验证性文本生成技术存在重大挑战。例如长文本生成过程中的注意力转移、在文档检索中精准度和范围之间的平衡难题，以及对句子和其潜在证据之间复杂关系的推理需求。现有机制难以有效地处理这些问题，尤其是在生成内容逐步转移焦点和相关文献必须相应更新以保持一致性时。

核心贡献

• 提出了一个名为VTG（Verifiable Text Generation）的新框架

  • 挑战1：注意力转移 VTG通过演化的长短期记忆系统应对可验证文本生成中的注意力转移挑战。该系统高效存储最有价值的文档在长期记忆中、最新文档在短期记忆中，以支持最新的句子。此外，VTG采用主动检索过程，用于提高检索文档的精确性。再结合多样化的查询生成，以此提高检索文档的范围和多样性。

  • 挑战2：证据检索与验证 VTG集成了两级验证器和一个证据寻找器。当句子没有通过验证器时，证据寻找器被激活，以检索额外的支持性证据。这允许模型对句子和潜在的证据之间的关系进行再思考和反思，确保一个彻底和准确的验证过程。

实现与部署

VTG在五个问答数据集上进行了广泛的实验，结果证明VTG在引用质量和回答正确性方面均显著优于现有基线。该方法在引用的准确性和生成文本的验证能力方面效果显著，并且通过详尽的实验验证了其方法的有效性。VTG的核心贡献在于它的记忆系统和验证机制，这使得LLMs生成的文本更可信。

总结

VTG通过演化的长短期记忆和自我反思的方法来提升LLMs生成文本时的可靠性和验证性，对复杂的注意力转移问题和文档检索的挑战有着有效的应对策略，并且通过实验获得了验证。