Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.066 — 2026-09-08
NEWS 约 1 分钟

Glue 6省钱三成?先看账怎么算

Glue 6配合 Iceberg v3 据称能省三成,但一组实测只见 5%—10% 差距。

同一批数据换套处理方式,云账单真能少三成吗?一位数据工程师在 Reddit 分享了自己的对比:有人声称,AWS Glue 6 配合 Iceberg v3,并采用 Merge-on-Read,可让更新和删除作业的成本降低约 30%。Glue 是运行数据清洗任务的托管服务;Iceberg 则像一套数据表的“文件目录”,负责记录文件、分区和版本。

这位作者用约 1100 万行、13 列的数据,比较了不同 Glue 与 Iceberg 版本组合,也测试了两种更新方式。Copy-on-Write 会直接重写受影响的文件;Merge-on-Read 先把变更另存起来,减少当下写入,但把合并工作留给查询或后续整理。结果是,其多数测试的成本和性能差异只有约 5%—10%,没有复现 30%。

这条经验最值得看的,不是哪个数字“正确”,而是账该怎么算:更新触及多少文件、查询是否频繁,以及后续整理成本是否计入,都会改变结果。帖子未披露完整基准设置,30% 的出处也不明确,因此目前更适合作为测试提醒,而非 Glue 6 的普遍省钱结论。


供稿材料 SOURCES — 1
01
glue 6 vs glue 4 cost optimisation r/dataengineering 日榜 · NEWS
原文 ↗

← 返回 2026-09-08 · 数据板块