2312.03913.md

背景

• 背景
  论文讨论为了模拟真实的人类行为，合成语义意识的长时间跨度的人与物体的互动至关重要。研究者们提出了一种在三维场景中，通过语言描述指导下生成同步的物体运动和人类运动的方法。

• 已有的工作 已有工作主要关注于静态物体的人与场景互动，譬如坐在椅子上，忽视了日常生活中频繁发生的高度动态互动。虽然一些工作在建模动态人物互动方面取得了进展，但它们只关注较小的物体或者缺乏操作多样物体的能力。此外，现有研究一般依赖于过去互动状态的序列或完整的物体运动序列，并不能仅从初始状态合成物体运动和人类运动。

核心贡献

• 提出了一个名为CHOIS（Controllable Human-Object Interaction Synthesis）的方法

  • 挑战1：实现语言指导下的同步物体和人类运动合成 目前的方法无法保证物体运动与输入的路径点对齐，不能确保需要精确手-物体接触和适当地面接触来实现互动的真实性。论文的方法通过使用条件扩散模型，在训练时引入物体几何损失作为额外监督，以及设计在采样过程中加强接触约束的指导项来解决这个问题。

  • 挑战2：在复杂环境中合成长时跨度的互动 实现这一点的核心是利用语言和物体径路点的组合信息，这些径路点不需要密集或精确，可以使用现有的路径规划算法生成，在复杂场景中代表长距离互动。研究基于此发现，制定了一种使用条件扩散模型和稀疏物体路径点来合成受语言和路径点指导的人物互动方法，并在FullBody-Manipulation数据集上验证了其合成真实互动的能力。

实现与部署

CHOIS方法集成于一个系统中，该系统可以根据三维场景和语言输入合成连续、逼真、环境感知的人物互动。系统生成的相互作用既与语言输入中指定的指令保持一致，又符合由三维场景几何条件导出的径路点条件的环境约束。此外，研究表明所学习的交互合成模块可以推广到3D-FUTURE数据集中的新奇物体。通过比较和分析研究结果证明了其方法在真实世界场景中的有效性和广泛适用性。

总结

本文提出了一种新的交互合成方法CHOIS，它能在受语言描述指导的条件下，生成符合三维场景几何约束的人与物体的同步运动。该方法通过集成到一个系统中，展示了其在合成连续、逼真和环境感知的人物互动方面的有效性。