2404.07546.md

背景

• 背景
  这篇文章探讨了大型语言模型（LLMs）通过上下文学习（ICL）如何在不更新数百万参数的情况下执行多种任务的能力。尽管如此，演示示例对提高最终任务性能的确切贡献并未在最近的分析研究中被充分探讨。

• 已有的工作 已有工作试图揭示ICL特性背后的机制，比如模型通过ICL“回忆”预训练期间获取的潜在知识。但这些研究大多数关注演示示例中输入-标签映射的正确性，并未提供关于哪些特定因素导致性能提升的确定性答案。

核心贡献

• 提出了一个解答ICL对性能贡献关键因素的方法

  • 挑战1：分解ICL的性能贡献 作者首先识别出所有的响应（无ICL和有ICL的），并追踪所有实例的类别变化。然后提出将ICL带来的整体性能提升分解成三个贡献因素：标签空间、标签格式和辨别能力。通过对比无ICL和有ICL的输出，他们提出了评估这些贡献因素的方法。

  • 挑战2：解析带来好的演示示例的检索机制 研究发现，使用语义相似度高的示例对ICL性能有显著提升。因此，作者深入研究了检索机制如何帮助ICL，以及如何通过语义上有意义的句子嵌入和相似度检索来选择最佳的演示示例。

实现与部署

这项研究使用了四种通用且指令调整后的LLMs，并在多个分类、序列标注和生成数据集上测量了三种贡献因素。研究结果表明，ICL在调整标签空间和格式方面的效用显著，但在提取具有丰富语义内容的判别知识方面的改进最小。此外，检索良好演示示例的分析强调了选择多样化和语义上相关演示示例对提升ICL性能的重要性。

总结

本文研究了ICL在提升任务性能方面的生效机制，通过分解ICL的贡献因素，发现ICL通过精细调整标签空间和格式来显著提升性能，同时强调了选择合适演示示例的重要性。