- 新增支持 MaxStorage 读取 MaxCompute 分区表(预览版,该功能未经过完整验证)
- 现在 tunnel upsert 功能支持任意指定 compress option 了(原只能指定 raw)
该版本在 v0.0.5 版本的基础上,内置了 TPCH-mini 数据集。这个数据集是从完整 TPCH 数据集取样的,取样比例为 0.01。
这是一个修复版本,我们在使用 MaxStorage(Storage API)读取 MaxCompute 非分区表时遇到了一些问题(分区表目前还不支持)。 我们修复了这些问题,并确保了模拟能够支持目前版本的 Presto-Connector 能够进行E2E测试。
- 新增对 MaxStorage 不同切表类型的支持(无论那种切表方式,目前仅支持单个Split)
- 修复在创建无主键表时报错的问题
- 修复在建表时,没有将表名,列名转换为大写的问题,以维持Emulator不区分大小写的特性。(其实应该将所有的大小写转换去掉)
- 修复 MaxStorage 在读取空表时报错的问题
- 修复 MaxStorage 在读取 BIGINT 类型数据报错的问题
-
分区表的 Upsert 写入:
- 实现了对分区表的 upsert(更新插入)操作功能。
- 通过在建表时标记分区列,并将分区列视为主键的形式,实现了分区的唯一性。
- 注意:对于 MaxCompute 中的分区表,在 SQLite 的模拟中不会实际创建分区。
-
Storage API 读接口预览版:
- 开发了部分 Storage API 读接口的内容。
- 这是预览版,完整和功能齐全的版本将在下一个更新中发布。
通过这些新特性,版本 0.0.3大大增强了对分区表操作的支持,并为未来的Storage API读接口功能奠定了基础。我们期待在未来的版本中提供更多功能和改进。
我们发现了容器化环境中的一个关键问题,其中 IP 地址和端口映射的动态特性导致与Tunnel相关的端口由于返回本地地址的默认行为而发生故障。
为了应对这一挑战,我们很高兴在 0.0.2 版本中引入“/init”接口。这项新功能允许在容器启动后立即将容器当前的 IP 地址和端口上传到服务器。此增强功能可确保所有与Tunnel相关的接口在容器化部署的动态环境中正常运行。
部署容器后,使用当前 IP 地址和端口详细信息向“/init”端点发出发布请求。此步骤无缝集成到您的部署过程中,从而实现隧道相关服务的平稳可靠的功能。
我们感谢您的反馈,并致力于不断改进我们的解决方案。感谢您的支持。
截至目前,该项目处于 Pre-Alpha 阶段。我们的首个版本 0.0.1 主要目标是支持 Flink 集成测试。此版本实现了一些主要接口,其中包括:
SQL相关接口 Table 元数据相关接口 Tunnel upsert 写入接口