OneTable Lakehouse 表格式间全方位互操作

2023年 11月 19日 27.8k 0

OneTable 是一种表格式的全方位转换器,可促进数据处理系统和查询引擎之间的互操作性。Apache Hudi、Delta Lake 和 Apache Iceberg 之间无缝互操作。

OneTable 不是一种新的或独立的格式,OneTable 提供了用于转换 Lakehouse 表格式元数据的抽象和工具

OneTable 通过利用表表示的通用模型来简化数据湖操作。这允许用户以一种格式写入数据,同时仍然受益于其他格式的集成和功能。例如,OneTable 使现有的 Hudi 用户能够无缝地使用 Databricks 的 Photon Engine 或使用 Snowflake 查询 Iceberg 表。创建从一种格式到另一种格式的转换非常简单,只需要实现一些接口,项目团队认为,这将有助于将来支持的源格式和目标格式的扩展。

相关文章

塑造我成为 CTO 之路的“秘诀”
“人工智能教母”的公司估值达 10 亿美金
教授吐槽:985 高校成高级蓝翔!研究生基本废了,只为房子、票子……
Windows 蓝屏中断提醒开发者:Rust 比 C/C++ 更好
Claude 3.5 Sonnet 在伽利略幻觉指数中名列前茅
上海新增 11 款已完成登记生成式 AI 服务

发布评论