整理大表时,最浪费时间的往往不是计算难,而是重复做同一件事,甚至明知条件矛盾还把数据读一遍。Polars 的查询优化器——负责在结果不变的前提下改写执行步骤——正减少这类无效工作。
1.41 版把“公共子计划消除”扩展到所有嵌套层级:藏在深层的相同子查询也能只算一次,不过目前需要手动开启。1.42 版则会识别永远不可能成立的条件,例如 value > 100 AND value < 50,直接在规划阶段返回空结果,跳过读取、过滤和汇总;这项改进无需修改代码。
规模化能力也在同步推进。Polars 现可通过 Kubernetes——自动部署和调度应用的平台——运行在企业自有基础设施上。官方还以 1 TB 数据做了基准测试,称单机平均比 Spark 快 6.4 倍,分布式场景平均快 3.2 倍。该结果来自 Polars 自测,只对其披露的硬件、数据和查询成立,但优化器、私有部署与集群基准集中出现,说明它正把目标从单机分析推向更大的企业工作负载。