2401.06431.md

背景

• 背景
  论文介绍了中国高中英语学习的重要性，特别是写作练习。在中国，由于学生与老师之间比例较高，为学生提供及时且可靠的反馈是一个重要挑战。这限制了学生特别是那些希望提高自主学习能力的学生的学术进步。因此，开发能够提供准确和建设性反馈及评分的自动系统在这种情况下具有重大意义。

• 已有的工作 自动化作文评分（AES）系统为学生提供了有价值的帮助，能够立即并一致地对他们的作品提供反馈，同时简化了教育工作者的评分过程。然而，AES系统在现实世界教育环境中的有效实施呈现出多重挑战。主要挑战之一是练习环境的多样性以及评分标准的内在模糊性。另外，考虑到例如中国高中生的多种写作练习和评分指南对评价抽象标准如逻辑结构的必需性粒度的缺失，确保AES系统的准确性、普适性和可解释性变得极具挑战性。

核心贡献

• 发表了一个使用 GPT-3.5 和 GPT-4 大型语言模型（LLMs）作为自动化作文评分（AES）工具的研究

  • 挑战1：如何改进AES系统以适应各种评分环境 作者通过引入自OpenAI的GPT-3.5和GPT-4等LLMs，并使用prompt engineering和数据集fine-tuning来提高模型在各种评分环境下的评分准确性。实验证明，fine-tuned GPT-3.5在多个数据集中表现优于传统评分模型，提供了更高的准确性、一致性、普适性和可解释性。

  • 挑战2：如何利用LLMs协助人类评估，提升评分效率和一致性 通过人机合作实验，研究发现提供由LLMs生成的反馈可以帮助无经验评分者达到与专家相当的准确性，同时专家的效率得到提高并保持更高的评分一致性。这突显了LLMs作为教育技术工具潜力，为有效的人机协作开辟了新的道路。

实现与部署

通过对公共和私有数据集的一系列实验，研究比较了LLMs基于的AES系统和传统评分模型的表现。研究使用了Cohen’s Quadratic Weighted Kappa (QWK)作为主要评估指标，反映了预测与真实评分之间的一致程度。发现基于微调的GPT-3.5模型在八个数据集中的六个超过了BERT基线模型，在私有数据集中的表现更是印证了其优越性。除了对模型性能的广泛评估，论文中还包含了一些成功示例如何通过prompt工程和联合训练增强GPT-3.5的表现。

总结

本文的研究展现了大型语言模型在教育领域中，特别是在AES系统中的潜力。LLMs不仅能够自动化评分过程，还能够通过生成反馈来增强人类评分者的表现。这不仅是技术上的进步，更为未来的人工智能辅助教育和人工智能与人类的高效协作提供了宝贵见解。