2406.07016.md

背景

• 背景
  论文探讨了大型语言模型（LLMs）如 ChatGPT 在学术写作中的使用情况。特别是它们的商业化给文本的生成和修订带来了与人类水平相当的表现。尽管 LLMs 在准确信息、加强现有偏见和容易误用方面存在明显的限制，许多科学家已经在他们的学术写作中使用它们。

• 已有的工作 已有的研究尝试量化科学论文中LLM使用的增加，但这些方法都有一个共同的局限性：它们需要一个由 LLM- 和人类编写的文本组成的准确训练集。即便如此，还没有系统地比较或相关联 LLM 在学术文本写作中引起的变化与其他重大事件（如 Covid-19 大流行）引起的变化。

核心贡献

• 提出了一种新的研究方法

  • 挑战1：避免使用基于准确训练集的方法对 LLMS 使用进行检测 要解决这个问题，论文提出了一个无偏差的大规模方法来跟踪学术文本中 LLM 的使用，而无需使用基于准确训练集的方法。该方法是通过研究来自 2010-2024 年的 1400 万条 PubMed 摘要中词汇变化，显示了 LLMs 的出现导致某些风格词频率的急剧增加。通过使用超额词汇使用的分析，推测至少 10% 的 2024 年摘要文本经过 LLMs 处理。

  • 挑战2：系统比较 LLM 导致的科学写作变化与以前的转变 为了解决 LLM 导致的学术写作变化与以往的变化是否有可比性，研究者没有使用 LLM 检测模型，而是研究了超额词汇使用，类似于 Covid 大流行期间死亡人数的超额研究。结果显示 LLM 导致的变化在质量和数量上是前所未有的。

实现与部署

论文分析了 PubMed 数据库中超过 1400 万的生物医学摘要，追踪了过去十年科学写作的变化。结果显示与 LLM 相关的风格词的频率在 2023-24 年显著增加。为了量化这种增加，研究者根据 2021 和 2022 年的词频线性外推到 2024 年，计算了和实际 2024 年频率的超额差距。通过对不同学科、国家和期刊进行差异性分析，发现在某些 PubMed 子文献集中使用 LLM 的比例高达 30%。

总结

此论文针对学术文本中广泛使用 LLMs 的现象，提出了一种新的无偏差的大规模方法来研究 LLM 的使用情况，并对 LLM 导致的科学写作变化进行了前所未有的量化比较。