你去体检,三位医生用三套标准解释同一组指标:一位说风险上升,一位说没有变化,一位说可能下降。把三份意见并排摆出来,当然比只展示其中一份诚实。但如果医生最后只说“结果因方案而异”,却不解释哪套标准更合适,这种全面也可能是在回避判断。
Martin Modrák 的预印本讨论的正是这个问题。它批评的不是多做分析,而是一种容易被误认成稳健的做法:研究者跑出大量模型,然后让模型数量代替自己承担结论责任。论文还提出一个更尖锐的担忧——大量结果也可能被用来制造怀疑,让本来足以支持判断的证据显得始终悬而未决。
把所有岔路都跑一遍
Multiverse analysis,中文常译“多元分析”,是把研究中的多种合理选择组合起来逐一运行。数据要怎样清理,变量如何定义,统计模型选哪一种,都可能改变结果。这些选择构成“研究者自由度”:面对同一个问题,研究者往往不只有一条分析路线。
多元分析试图把这些岔路显式展开。比如一个问题有三处选择,每处各有两种做法,组合后便有八个 universe——也就是八套完整分析方案。研究者可以检查结论换一种合理设定后是否仍然成立,这就是稳健性分析。
问题出在“合理”二字。多元分析并不会自动判断哪些路线值得采用。Modrák 认为,如果有些方案明显更好,作者就应说明理由,不该把较差方案一并塞进 multiverse;如果大量选择都无法判断优劣,更诚实的结论或许是:这个问题还没成熟到可以回答,需要先补理论、方法或验证工作。
“多数模型支持”没有看起来那么客观
论文区分了两种读法。概率式读法会说“90% 的模型得到正向关系”,把 universe 的占比当成证据。可能性读法则克制得多:只要一套尚可成立的方案得到某个结果,就说明这个结果暂时不能被排除。
前一种读法很诱人,因为它给出了整齐的多数票。但多数票要有意义,至少需要各套方案大致同样可能正确,或者能为它们建立可信的概率分布。Modrák 认为,这类强假设很少有充分依据。一项不合理的二元选择,还可能出现在一半的组合中。此时“半数模型没有效果”不是独立证据反复出现,而是同一个坏选择被组合机制复制了许多次。
论文引用的一个既有案例更极端:研究者重新评估某项已发表的 multiverse 后,认为有理由采用的模型为 1,152 个,而缺乏理由的模型有 91,008 个。这个数字在本文中用于说明一种结构性风险:模型越多,不一定覆盖得越全面,也可能只是把少量可辩护的分析埋在大量较差方案里。
文献里真的出现了吗
为判断担忧是否只是理论推演,Modrák 在 2026 年 2 月 15 日检索 OpenAlex,寻找 2025 年发表且包含原创 multiverse 的研究。83 条结果经过删除重复项、无法取得全文的条目、非研究文本和不符合条件的分析后,留下 31 篇论文。检索和分类没有预注册,分类标准也在阅读前四分之一材料时调整过;作者明确说,这不是对问题流行程度的全面测量。
结果仍提供了一些初步迹象。31 篇中,14 篇只采用概率式解释,另有 11 篇同时采用概率式和可能性解释。8 篇无法把报告或图示中的结果追溯到具体 universe;16 篇至少有一张无法追溯的图或表,其中10篇还出现了定性差异,却无法从相应图表看出哪些方案造成差异。
不过,材料也不是一边倒。6 篇声称所有 universe 的结论在性质上相同;其余25篇中,有22篇指出了结果差异的主要驱动因素。真正尝试评价哪些 universe 更好、哪些更差的只有7篇。另有14篇包含至少1,000个 universe,规模本身已让展示、核查和理解变得困难。
这些数字只能支持论文所说的“初步经验证据”,不能证明推卸责任已经普遍存在。样本只有31篇,分类带有主观性,而且其中不少论文主要是在方法研究中演示 multiverse,并非把它当作独立研究结论。
从诚实展示到制造怀疑
“制造怀疑”指一种论辩策略:持续强调残余不确定性,让现有证据看起来永远不足以支持行动。Modrák 担心,multiverse 会给这种策略披上一层客观外观。只要加入某些不恰当的变量或时间设定,大量组合就可能自然地产生接近零、甚至方向相反的结果。使用者随后无需押注任何单一模型,只要说“整体没有清晰模式”。
论文以一项关于 Covid-19 政府干预的 multiverse 争议为例。作者依据另一篇批评文章认为,其中许多分析选择可能无效,尤其是从政策宣布到病例或死亡变化只设2周或4周的滞后期;他据此推测,至少四分之三的 universe 会偏向得到无效结果。
但这一部分只能当作轶事。论文没有提供足以独立判断动机的证据,作者也承认无法确定相关研究者是否有意制造怀疑。因此,它说明的是一种可能的滥用路径,不是对当事人意图的已证实结论。
最差的一套,也要由作者负责
Modrák 最后提出两项规范性倡议。第一,用 multiverse 中“单个最差的 universe”来评价整体:除非作者另有证明,只要其中一套分析受到有力批评,整个 multiverse 的解释就应受到影响。第二,把规模过大视为弱点或警示,而不是值得炫耀的成绩。这样做的目的,是把举证责任放回作者身上:既然把一套方案纳入分析,就要说明它为什么合理。
这两条不是现有共识,也没有在本文中经过效果验证。“按最差方案评价”尤其可能被一个极端或明显不合理的设定绑架。作者自己也承认,规则并非绝对;对于用来反思既有研究习惯的 multiverse,纳入较差方案有时恰好能揭示问题。
这篇预印本最值得保留的提醒,不是“少跑模型”,而是“模型数量不能替你判断”。多元分析可以暴露结论依赖哪些假设,却不会替研究者决定哪些假设可信。透明展示是责任的起点,不是责任的终点。