-
背景
文章介绍了数据湖中数据操作是一个长期存在的问题，传统的基于规则或机器学习的方法需要大量的人力进行数据收集和模型调优。 -
已有的工作 已有的方法虽然应用了大型语言模型（LLMs）来解决多种数据操作任务，显示出良好的性能，但仍需针对每个具体任务定制设计，这一过程成本高昂，难以满足大数据湖平台的需求。
- 提出了一个统一框架UniDM
-
挑战1：如何设计一个能优雅统一不同数据操作任务的框架？ 该挑战在于需设计一个既通用又能涵盖常见及新任务的框架。UniDM通过形式化数据操作任务，提供了一个能够简单扩展至新任务的统一框架。
-
挑战2：如何在此统一框架下设计一个通用解决方案？ 这一挑战的关键在于找到合适的提示引导LLMs输出高质量结果。UniDM通过将数据操作任务分解为几个一致的步骤，简化了任务，使LLMs能更有效地处理。
-
UniDM框架经过多项基准测试，证明了其在多种数据操作任务上的通用性和最先进的性能。该框架通过自动提取相关上下文信息、转换上下文信息以及构建目标提示等步骤优化了数据处理流程。
UniDM是一个创新的统一数据操作框架，通过有效的提示设计与步骤分解，显著提高了处理多种数据任务的效率和质量。