你可以把传统的大模型训练想成一支在专业厨房里工作的队伍：设备统一，分工固定，传菜通道也足够快。Agora 想做一件更难的事——让散落在互联网各处、性能不同、还可能随时离线的电脑共同完成这顿“大餐”。它挑战的不是某个模型结构，而是一个更基础的前提：十亿乃至万亿参数模型的预训练，是否一定要在统一管理的数据中心里进行。
预训练，是大模型在海量文本上反复练习预测下一个词、由此获得通用语言能力的阶段。它通常最耗时间和算力。Agora 论文提出一套互联网规模的协作训练系统，并用一次名为 Pluralis-8B 的运行展示可行性。按照论文报告，330 个累计贡献节点用 40 天训练了一个 86 亿参数模型，节点主要配备消费级 GPU，并在训练期间不断加入和退出。
本文数字与效果均来自作者于 2026 年 7 月 14 日提交的论文；目前没有独立复现、节点参与方记录或第三方评测可供交叉印证。
难点不只是“把电脑连起来”
多台 GPU 共同训练，常见做法包括数据并行和模型并行。数据并行像让多组人各读一批材料，再汇总各自学到的结果；模型并行则把一个模型拆开，让多块 GPU 分别计算其中一部分。两种方法通常都默认机器性能相近，网络快速而稳定。
公网环境恰好相反。参与者的 GPU 型号、速度和显存不同，这叫“异构算力”；机器还可能被主人拿去做别的事，随时退出，这叫“可抢占算力”。与此同时，共同训练要求机器频繁交换中间结果和模型更新。数据中心可以使用专用高速网络，公网则更慢，也更容易波动。通信量稍大，或者某个节点突然消失，其他机器就可能停下来等它。
因此，Agora 要解决的不是简单的算力众筹。它必须让一群设备不同、网络条件不同、没有统一在线时间的参与者，仍能维持同一场训练。
把模型拆成流水线
Agora 的核心思路，是在公网链路上使用带宽高效的流水线并行模型分片。所谓流水线并行，可以理解为把模型按计算顺序拆成多个阶段：一个节点完成前一段计算，再把结果交给负责下一段的节点。每位参与者只持有模型的一个阶段，而不是保存完整模型。
这与单纯的数据并行不同。后者往往需要多台机器各自保存一份模型，并频繁汇总更新；Agora 则试图通过模型分片控制公网中的通信负担。论文同时引入了多方、容错的集合通信——也就是让多台机器协同交换结果，并在部分参与者退出时继续工作的通信机制。
作者还提到，这项工作结合了通信高效的并行计算、异步优化和容错系统设计。异步优化的基本直觉是，不要求所有参与者每一步都严格同时完成，以免速度最慢或突然掉线的节点拖住整轮训练。不过，现有供稿没有展开这些机制的具体算法、节点替换过程或容错边界，因此还无法判断系统如何处理长时间断线、性能差距过大等情况。
330 个节点完成了一次什么训练？
Agora 的演示运行名为 Pluralis-8B。作者将它描述为开放、无需许可的预训练：参与者不需要由单一机构逐一批准。模型包含 86 亿个参数，使用 FineWeb-Edu 的 5000 亿个 token 训练。token 是模型处理文本时使用的基本片段，可以是一个词、词的一部分或标点。
训练持续 40 天，先后有 330 个贡献节点参与。这里的 330 是累计贡献节点数，论文摘要没有说明同时在线的峰值。节点主要使用经互联网连接的消费级 GPU，也就是说，并非所有设备都被证明属于消费级。
作者报告，这次运行维持了约每秒 17 万个 token 的吞吐量；每汇聚 1 TFLOP 算力，处理效率为 4.2 个 token。TFLOP 是衡量计算能力的单位，但摘要没有交代这一指标的完整计量口径。
与作者选定的集中式 H100 基线相比，Pluralis-8B 达到其效率的 63%。这个数字最能说明 Agora 的意义：公网协作并没有追平数据中心，但作者报告的差距也没有大到让训练失去实际可能。不过，论文摘要没有说明两边是否严格控制了模型、批量大小、计算精度、硬件利用率和通信条件。因此，63%适合视为这次实验中的系统结果，不能直接理解为所有公网训练都能达到数据中心效率的六成以上。
作者还称，最终模型与集中式参考训练的收敛结果只有“较小差距”。收敛指训练逐渐稳定，并达到预期学习效果。但供稿没有给出具体指标、评测集、差值或误差范围，所以无法判断这个“较小”究竟意味着什么。
它真正撬动的是组织方式
Agora 值得关注，不只是因为它利用了闲置 GPU。更重要的是，它试图把模型预训练从“一个机构拥有完整集群并统一调度”，改造成参与者按照共同协议协作的过程。作者把这种设置称为 Protocol Learning，即“协议式学习”。
在系统设计上，每位参与者只持有模型的一个阶段，任何单一参与方都不会独自拥有完整权重。权重可以理解为模型训练后学到的大量数值，也是模型能力的主要载体。作者据此提出“集体训练、集体所有”的愿景，希望为经济上可持续的开源前沿模型训练提供路径。
但“只持有一个阶段”首先是模型如何分配的技术事实，还不是完整的所有权或安全证明。它不等于系统已经排除了多方串谋、分阶段数据泄露、检查点拼接，或训练结束后汇集完整权重的可能。类似地，“经济上可持续”目前也是作者提出的方向，供稿没有提供成本结构、激励机制或治理实验。
即便如此，Pluralis-8B 仍展示了一个值得继续追踪的变化：分散在公网中的异构设备，不再只适合小规模实验，也可能参与一次数百亿亿次计算共同推进的大模型预训练。Agora 尚未证明数据中心会被取代，但它把“谁能组织大模型训练”从硬件采购问题，部分改写成了协议、通信和容错问题。
局限与未知
- 所有结果都来自作者报告，尚无独立复现。作者称这是同类首个开放、无需许可的互联网分布式预训练演示，但没有给出明确比较范围或系统性的先例检索。
- “集中式 H100 基线的 63%”缺少完整对照设置；“收敛差距较小”也没有具体评测指标，暂时无法精确判断训练质量和效率差距。
- 供稿未披露通信量、掉线恢复方式、节点性能分布、训练成本及参与激励，也未证明模型分片能够解决串谋、泄露和最终所有权治理问题。