Iceberg

ACID 事务使多个用户能够以原子方式同时可靠地添加和删除 S3 对象,同时通过维护数据湖查询的一致性来隔离任何现有查询。Athena ACID 事务向 Athena SQL 数据操作语言 (DML) 添加了对写入、删除、更新操作的单表支持。多个并发用户可以使用 Athena ACID 事务对S3 数据进行可靠的行级修改。Athena 事务自动管理锁,不需要自己设计锁的方案。

Athena 支持对 Apache Iceberg 表进行read / time travel /write查询,这些表使用 Apache Parquet 格式,并使用 Glue Catalog作为元存储。

Iceberg

Apache Iceberg 是一种适用于超大型分析数据集的开放表格式。Iceberg 将大型文件集合作为表进行管理,并支持数据湖操作,例如记录级插入、更新、删除和time travel查询, 其设计对 S3的使用进行了优化。Iceberg还有助于保证并发写入场景下的数据正确性。

有关 Apache Iceberg 的更多信息,请参阅 https://iceberg.apache.org/