你拍下一只猫，朋友用一句话描述它。照片和文字完全不同，但都指向同一个场景。两个从未互通数据的模型，分别读图和读文字后，会不会在内部形成相似的“世界地图”？
这正是 Randall Balestriero 与 Yann LeCun 在论文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》中追问的问题。他们给出一套有严格前提的理论，并用实验检验它：决定不同模态能否对齐的，不只是模型和数据有多大，更重要的是训练时把什么当成“同一件事的两种观察”。本文涉及的理论、数字与比较均来自这篇 arXiv 论文，尚无独立信源复核。
“殊途同归”需要什么条件？
模态（modality）是信息的载体，比如文字、图像、声音和视频。表征（representation）则是模型把输入转成的一组内部数字，可以理解为便于比较和推理的“特征档案”。所谓表征趋同，就是不同模型可能用相似的结构描述同一个世界。
此前的“柏拉图表征假说”（Platonic Representation Hypothesis）猜想：随着模型和数据变大，不同模态的模型会逐渐逼近同一种底层世界结构。“柏拉图”借用了不同表象背后存在共同形式的哲学意象。但它主要是一项经验观察，并没有告诉研究者趋同何时发生、何时失败。
新论文把问题放进 JEPA（Joint-Embedding Predictive Architecture）里研究。JEPA 不要求模型逐像素或逐字重建输入，而是让它在内部表征空间预测另一份相关观察。比如，看同一场景的一个角度，预测另一个角度应有的抽象特征。
作者提出的 Platonic Representation Theorem 大意是：如果多个模态观察的是同一个世界，并且各自训练时使用的正样本对连接着相同的世界状态，那么这些独立训练的 JEPA 会学到同一种表征，彼此只差一次旋转。
这里的“旋转”不是转动照片，而是对内部坐标系做变换。就像两张地图一个把北方放在上面，一个把北方放在右边；方向不同，但道路关系可以完全相同。
不过，这不是“所有大模型最终必然理解同一个世界”。定理依赖一个理想化设置：有限世界、可区分世界状态的观察方式、总体最优解，以及最优解除旋转外具有唯一性。论文在带二阶防坍塌约束、且谱存在间隔的 JEPA 中证明了这种唯一性。若不同模态的正样本关系不一致，作者也给出了失配上界：正样本画出的关系图差得越远，表征越难对齐。
关键不只是数据，而是“配对方式”
论文最有解释力的区分，是 good views 和 bad views。
“好视图”把同一场景的两次独立观察配成正样本，例如同一张图片的两条不同描述。两条描述措辞不同，共同保留下来的主要是场景本身。“坏视图”则从同一份观察中制造两个版本，例如裁剪同一张照片，或遮住同一句话的不同片段。它们不仅共享世界信息，也容易共享拍摄角度、用词和文风等模态特有的“杂质”。
作者的理论判断是：如果一种训练视图保留的模态杂质多于某些世界信息，模型就会拿出部分表征维度记录这些杂质。另一模态没有相应信息，再怎么旋转也对不上。好视图让两份观察独立变化，因此更容易迫使模型保留两者共同指向的场景。
在 Flickr30k 实验中，图像模型与文字模型分开训练，从未直接看到对方的模态。文字侧使用同一编码器和同一批文字，只改变正样本的构造方式。经过一次旋转后，好视图 JEPA 在图文检索中的 R@1 为 4.4%，即每张图第一次就找对描述的比例；坏视图为 2.7%，next-token prediction 为 2.1%，随机机会是 0.1%。场景能够解释的文字表征比例也依次为 80.4%、65.5% 和 60.8%。这支持了作者关于“模态杂质占用表征空间”的预测。
逐词预测为何需要更大的规模？
论文还把 next-token prediction——根据前文预测下一个词，也是常见语言模型的训练目标——刻画成一种“坏视图 JEPA”。在作者的表述中，它的正样本是同一文档里的前缀与后续文本，softmax 的归一化项则起到防止表征坍塌的作用。
问题在于，前缀和后文往往共享作者的措辞与风格，却不一定是同一场景的两次独立观察。作者据此提出一种解释：语言模型需要靠大量数据，让许多微弱的文字联系连成链，才逐渐逼近视觉模型捕捉到的世界结构；好视图则直接把同一场景的不同描述连在一起。
这是一种由理论框架导出的解释，并非已经独立证实的语言模型机制。论文自己也说明，相关推导对 next-token prediction 主要是启发式的，而非定理的直接推论。
实验结果与这个解释相符。在同一语料、同为 109M 参数编码器的比较中，好视图 JEPA 用 2160 万个训练样本达到的对齐度，next-token prediction 要用 9 亿个样本才达到，样本数相差 42 倍。这个数字只表示训练样本效率；它不等于训练时间、算力或成本也降低了 42 倍。由于一个好视图样本会读取三段文字，按文本 token 计算，差距是 14 倍。
扩大到 940M 张网络图片对应的文字后，一个 109M 参数的文字 JEPA 在论文采用的 WIT 对齐指标上达到 0.184，高于作者评测的 Qwen2.5-72B 的 0.154，也高于 CLIP text encoder 的 0.124。这个“更高”只针对论文所测的编码器、数据集和对齐指标，不代表小 JEPA 的语言能力全面超过这些模型。
从理论判断变成训练预测
作者还拟合了一条对齐 scaling law——用数据量和好视图比例预测对齐表现的经验规律。它先在 45 组训练配置上拟合，再提前预测 85 次尚未运行的训练。预测 Flickr R@1 的均方根误差为 0.0093，而同一配置换一个随机种子重跑，差异为 0.0096。换句话说，在这组实验范围内，这条规律的预测误差接近训练本身的随机波动。
这让“模型越大越趋同”变成了更具体的问题：给定多少数据、多少好视图，预计能对齐到什么程度。但作者也发现，这条规律外推到更长训练时会高估纯好视图模型的效果。它是针对一种训练方案得到的经验总结，并不是前述定理推导出的普遍定律。
论文还展示了对齐的用途。分别训练的图像和文字编码器可通过一次旋转接起来，组成图像描述系统；其中只有这次映射使用图文配对，解码器只在文字上训练。论文报告该系统在 COCO 上取得 CIDEr 0.838。另一项完全不使用配对来寻找旋转的实验中，109M 文字 JEPA 在 ImageNet-100 的 pair-free zero-shot top-5 accuracy 上达到 64%；论文比较的、不超过 8B 参数的语言模型最高为 56%。这些是特定任务中的展示结果，尚不足以说明系统具备通用多模态能力。
为什么值得关注
这项工作的价值，不是宣布不同模态已经找到了唯一的“真实世界模型”。它把一个宽泛的哲学式猜想拆成了可证明、可测量的问题：训练目标究竟连接了哪些世界状态？哪些信息属于场景，哪些只是措辞、视角或风格？表征不一致时，差异能否被界定？
如果后续研究能在更多模态和训练条件下复现这些结果，多模态模型的设计重点可能会发生变化。研究者不必只问“还能加多少参数和数据”，也要问“正样本是否真的代表同一个世界的不同观察”。这比单纯扩大规模更接近理论所指出的根因。
局限与未知
- 全部理论与实验结论目前来自同一篇论文，尚缺独立复现；多项“超过大语言模型”的说法只适用于作者评测的对齐指标和模型集合。
- 定理覆盖的是带特定目标、恒等预测器和理想化条件的 JEPA；常用于行动条件世界模型的学习式预测器不在分析范围内。
- 大规模文字数据主要来自图像相关文本，其中多数重描述由看过图像的 captioner 生成；作者还发现 WIT 的 1,024 条描述中至少 43 条出现在训练语料的 alt-text 里，虽称移除后所查模型的指标变化均不超过 0.002，这仍限制了结论的外推范围。