跨机器搬运大量分析数据,像把一整仓库的货分车并行运走:既要快,也要保证卸货后顺序不乱。新项目 Lightstream 想解决的正是这件事。它用 Rust 编写并提供 Python 接口,可传输 Apache Arrow、Protobuf 和 MessagePack 数据;其中 Arrow 是方便分析系统交换数据的内存格式,Arrow Flight 则是常用的高速传输参照方案。
最值得看的数字来自作者公开的 50Gbps EC2 网络测试:Lightstream 据称跑满网卡,吞吐达到 5.8GiB/s;批次发送时间的 p99——最慢那一小部分请求的典型水平——与中位数 p50 相差不到 1%。它还会把并行传输的结果整理成一条完全有序的数据流,接收方不必自己重新排队。作者称其在该测试的所有指标上均快于 Arrow Flight,并已在 GitHub 仓库附上可复现基准。不过目前材料只有项目作者自述,测试是否公平、能否在其他环境复现,仍需独立验证。