一段数据处理跑了五分钟,最难受的往往不是等,而是不知道它卡在哪。Polars——用于读取、清洗和汇总表格数据的开源引擎——现向开源用户提供查询剖析器。它像给任务做实时体检:扫描、过滤、连接、聚合等步骤处理了多少行、耗时多久,都能在运行中查看,也能事后回看历史记录。
据 Polars 博客作者 Chiel Peters 介绍,安装 polars_cloud 后,在脚本中加入 pl.Config.enable_monitoring() 即可开启。系统会先上传优化后的查询计划,再每 5 秒发送各执行节点的进度,结束时补发最终指标。示例查询从 S3 读取约 40 MiB 数据,总耗时约 5 秒;连接操作虽占多数 CPU 时间,却只用了约 103 毫秒。这说明真正的瓶颈是等待 S3 数据,而非连接计算本身。
查询仍在本地执行。Polars 称,平台只接收查询计划和实时遥测,原始数据不会离开用户环境。该功能目前适用于流式与分布式引擎;面向智能体的 MCP 接口仍在开发中。