2402.01246.md

背景

• 背景
  论文介绍了多模态大型语言模型(Multimodal Large Language Models, (M)LLMs)在人工智能领域，特别是在自动驾驶中的新进展。然而，现有的仿真平台存在局限性，包括不切实际的交通流量、难以定制场景以及缺乏专门为(M)LLMs应用定制的适应性。

• 已有的工作 现存的封闭循环仿真平台虽然有助于验证(M)LLM在自动驾驶中的应用潜力，但未能彰显出(M)LLM所固有的类人理解和推理能力。

核心贡献

• 提出了一个LimSim++平台

  • 挑战1：长期封闭循环模拟的缺失 现有的仿真平台未能提供长期封闭循环模拟的支持，这对于自动驾驶模型或系统来说是非常关键的，因为它们可以通过此类平台获得并完善持续学习能力，从而改善泛化能力。LimSim++平台提供了扩展时间跨度、多场景模拟，为(M)LLM支持的车辆提供关键信息。

  • 挑战2：无法有效验证(M)LLM在自动驾驶中的表现 目前对于感知、预测和规划的历史基准不能充分验证(M)LLM在自动驾驶领域的表现。LimSim++在这方面做出了贡献，该平台支持场景理解、决策和评估系统的研究。它不但引入了一套基于(M)LLM的封闭回路框架基准，还通过不同场景下的定量实验对其进行了验证，证明了(M)LLM支持的车辆在多种场景中的应用潜力。

实现与部署

LimSim++平台实现了与(M)LLM的结合，并支持多种与自动驾驶相关的功能，包括多模态提示生成、决策、动态评估、反思和记忆等。平台通过在交叉路口、环形交叉、坡道等多种场景中进行的定量实验进行评估，证明了(M)LLM驱动车辆的应用潜力。

总结

LimSim++是首个专为(M)LLM支持的自动驾驶而开发的封闭循环评估平台。它解决了现有仿真平台的局限性，并通过实验验证了其在多种复杂交通场景中的有效性。