你给两家店试卖一款新品。试卖期间，新品平均多赚了一点，而且差异通过了统计检验。现在要不要铺到所有门店？未必。试卖可能赶上节日，顾客也可能与日常不同；更重要的是，平均收益相同的两个方案，一个稳定赚钱，另一个靠少数大单撑起，全面铺开时承担的风险并不一样。
这正是论文《Robust A/B Decisions》要解决的问题。作者 Max H. Farrell、Malika Korganbekova 和 Sanjog Misra 认为，企业常用的流程把两个问题混在了一起：统计检验问“实验里的平均差异是否可信”，上线决策却应该问“面对未来环境，这个方案是否更值得部署”。论文没有否定显著性检验，而是要把检验结果重新接回收益与风险。
文中的结果全部来自作者对一个匿名美国在线平台数据的分析，尚无外部复现或平台方材料交叉印证。
显著，回答的不是上线问题
A/B 测试会把用户随机分到旧方案和新方案，再比较两组的平均结果。随机分组的作用，是尽量让组间差异来自方案本身，而不是两组用户原本就不同。
企业里的常见做法是计算 lift——新旧方案平均结果之差——再做 t-test。t-test 是一种均值差检验：如果两方案实际上没有平均差异，它衡量当前这么大、甚至更大的样本差异有多罕见。若 lift 为正，且 p-value 低于 0.05，企业就上线新方案。
问题在于，统计显著不等于经济上合算。它不告诉你收益是否足以覆盖成本，也不衡量结果是否稳定。反过来，没有显著差异也不等于旧方案更好：论文给出一个示意情形，新方案的平均收益更高且完全稳定，旧方案波动很大；t-test 仍可能因为证据不足而要求保留旧方案。检验本身没有算错，只是正确回答了另一个问题。
还有第二层错位。实验发生在特定时间、特定用户和特定竞争环境中，上线却发生在未来。新鲜感可能消退，用户构成可能改变，竞争者也可能回应。随机化能让实验内部的比较更可信，却不能保证未来与实验相同。
不只看平均数，也看收益怎么来的
作者提出一种 ambiguity-averse 决策框架。ambiguity 指分布不确定性：企业不知道未来的结果分布会不会偏离实验；averse 则表示决策者愿意为这种未知留出安全垫。
它的直觉并不复杂。先把实验观察到的整套结果当作未来世界的基准，再考察一组与它相近、但更不利的可能分布。每个方案得到一个“歧义惩罚后的价值”，企业选择该价值更高的一方。
例如，两款方案的实验平均收益一样。一款让大多数用户都小幅增加消费；另一款对多数人无效，只靠少数用户的大额消费抬高平均数。如果未来用户构成稍有变化，后者更容易翻车。传统流程主要盯着平均差和估计精度，新规则则利用每个实验臂的完整结果分布，判断收益对环境漂移有多脆弱。
论文用 Donsker–Varadhan representation——一个把“在许多可能分布中寻找较差结果”的优化问题化成可直接计算表达式的数学恒等式——得到 closed form，也就是无需反复求解复杂模型的封闭形式。实际使用只需要标准 A/B 测试已有的逐用户结果，再加一个参数：企业有多信任本次实验能够代表上线后的环境。
这个参数越接近“不担心环境变化”，规则就越接近直接选择实验平均收益更高的方案；对环境漂移越担心，规则就越保守。作者用均值—方差近似解释这种变化：平均收益提高会抬高方案价值，结果波动增大会压低价值。但完整规则还会读取分布中均值和方差之外的形状。论文在数据分析中发现，近似规则与完整规则会作出颇为不同的选择，说明更高阶的分布信息影响了决策；不过两者的总体 regret 表现相近。
regret——后悔值——是在事后数据中，某条规则所选方案与事后最优方案之间的收益差距。它越低，说明决策造成的机会损失越小。
552 场广告实验说明了什么
作者用一个匿名美国在线平台保存的 552 场广告 A/B 测试做评估。每场实验随机分配用户，并记录每位用户的货币结果。作者采用随机拆分和地理拆分，把一部分数据用于作决定，另一部分作为留出数据评判结果，以减少规则只是在原样本中表现好的风险。
比较对象包括传统假设检验、直接选择平均收益更高方案的规则、均值—方差近似，以及完全忽略数据的随机选择。论文报告，传统 t-test 在不到 2% 的实验中选择部署新方案，其平均 regret 与随机决策相近。作者提出的稳健规则则把 regret 降低约 25%。
这组结果值得关注，不只是因为某条新公式赢了，而是因为它换了评判尺子。传统方法围绕误报概率组织决策；新框架直接围绕未来收益损失组织决策。对企业来说，同一个实验估计放在“收益有限、失败代价很高”和“收益很大、试错便宜”的场景里，本来就不该自动导向同一个答案。
它也提醒我们，0.05 并非没有人为选择，而新框架同样不能消除判断。企业仍须决定自己多信任实验。区别在于，论文新增参数表达的是对未来环境偏移的担忧，而显著性阈值表达的是对统计误报的控制。两者保守的对象不同。
局限与未知
- 552 场实验全部来自一个匿名美国在线平台，且限于数字广告。数据如何被选入、平台环境有何特征，外界无法核验，约 25% 的 regret 改善不能直接外推到所有产品和行业。
- 规则的关键参数需要决策者设定，而且应随企业和具体决策变化。论文用历史控制组，并以风险溢价约占价值的 10% 为启发进行校准，同时考察 5% 和 25%；这不是一个普适最优值。
- 该规则聚焦未来分布漂移，没有把样本量带来的统计精度直接纳入决策。同样的样本均值来自 10 次还是 10,000 次观察，在规则中不会因此自动得到不同权重；作者把两类顾虑结合起来留给后续工作。