你给视频平台改了推荐页面。上线头两天，用户观看时长明显增加；两周后，新鲜感消退，效果接近于零。如果只看整个实验期的平均数，结论可能仍是“有效”。可产品团队真正想知道的是：这个效果能维持吗？
2026 年 9 月 2 日提交至 arXiv 的论文《Testing for trends in online experiments》，讨论的正是这个问题。Chris Haulk、Lee Richardson 和 Jacopo Soriano 提出一种务实做法：用线性回归估计实验效果随时间变化的速度，再用 Jackknife 置信区间判断这条趋势是否可靠。论文还披露，这套方法已经进入 Google 的集中式实验平台，在 YouTube 内部每天使用超过 10,000 次。
以下数字和结论均来自这篇新近提交的预印本，目前材料没有提供同行评审或外部复现信息。
平均数会把什么藏起来？
在线实验通常把用户随机分进两组。一组使用新功能，另一组保持原样，然后比较观看次数、观看时长等指标。这类实验常被称为 A/B 测试——A 是对照版本，B 是改动后的版本。
常见报告会把多天数据合在一起，给出一个平均处理效应，也就是“这项改动总体带来了多大差异”。但同一个平均数，可以来自完全不同的过程：效果可能一直稳定，也可能先高后低，还可能随着用户逐渐学会使用而越来越强。
论文把这种变化称为时变处理效应（time-varying treatment effects）。作者认为，趋势对判断长期结果很重要。在 YouTube，向上的效果趋势被视为有效处理的重要标志。过去，公司里常见的判断办法是直接看时间序列图：如果曲线大致“向右上方走”，就认为效果在增强。
看图很直观，却有两个问题。人很容易把随机波动看成走势；平台同时监控大量指标时，也不可能逐张图稳定地作出判断。论文要做的，就是把“看起来在上升”变成一个可以估计、检验和批量运行的数字。
给效果加一条趋势线
作者先按天计算处理组与对照组的差异，再用一条直线概括这些日度效果：
这里的“趋势”，就是每过一个时间单位，处理效应改变多少。正值表示效果总体增强，负值表示效果总体减弱。线性回归——用一条关系式描述结果怎样随处理和时间变化——负责估出这条线的斜率。
这个思路的好处是容易解释。团队不只得到“实验平均提升多少”，还会得到“效果每天增加或减少多少”。而且它不要求改变常规实验设计，可以接入协变量调整。协变量调整是利用实验前已有的信息，减少与改动无关的噪声，让估计更精确。
不过，画出一条线还不够。实验相邻两天的数据往往彼此相关：同一批用户会连续出现，今天的观看行为和明天并不是两次毫无关系的抛硬币。如果普通线性回归把这些误差当成相互独立，它给出的标准误和置信区间就可能失真。标准误衡量估计有多不稳定；置信区间则给出与数据相容的趋势范围。
作者因此引入 Jackknife。它反复删去一部分观测，再重新计算结果，通过估计值在这些重复计算中的变化判断不确定性。在 YouTube 的实现里，重算围绕“cookie bucket”进行。一个 cookie bucket 是随机分配的一组用户，通常包含数十万乃至数百万人；平台先把用户数据聚合、匿名化，再分析每组每天的观看次数或总观看时长等指标。
作者把趋势线与这套不确定性估计合称为 jackknife linear model。
普通回归的误差能偏到什么程度？
论文用 1,000 个 A/A 实验检查误差估计。A/A 实验给两组相同处理，理论上的初始效果和趋势都应为零，因此适合观察统计方法会不会凭空制造确定性。这些实验都运行 14 天，配置相同。
结果显示，Jackknife 估计与 1,000 次实验产生的经验波动基本吻合；普通最小二乘法，也就是 OLS 的方差估计则明显偏离。
例如，在不做协变量调整时，初始效果的经验标准误是 0.0082。OLS 只估出 0.0048，低估 41%；Jackknife 给出 0.0082，相对误差为 0.055%。同时，名义覆盖率为 95% 的“初始效果与趋势联合置信区域”，OLS 实际只覆盖 55%，Jackknife 则达到 95%。所谓覆盖率，是把实验反复做很多次后，区间能够罩住真实值的比例。标着 95% 的区间若实际只有 55%，就意味着它表现得远比标签更自信。
协变量调整把初始效果的标准误大约削减一半，却没有提高趋势估计的精度。这个结果提醒团队：让“第一天提升多少”估得更准，不代表也能更准确地回答“以后会怎样”。
一条直线，遇到弯曲趋势还管用吗？
真实效果不会总沿直线变化。作者因此把 jackknife linear model 与一种专门寻找持续上升趋势的 PAVA 检验比较。PAVA 基于保序回归——要求拟合结果只能持平或上升——并通过 cluster bootstrap 反复按用户组抽样，确定拒绝“效果恒定”这一假设的门槛。
作者从 A/A 实验出发，人为注入不同形状的趋势，并把信号强度调到两种检验大约有一半机会检出。没有趋势时，两种方法的误报率分别为 4.9% 和 5.0%，接近预设水平。
在线性趋势下，Jackknife 线性模型的检出率是 59.8%，PAVA 是 58.1%。随着曲线变得更非线性，PAVA 略占优势：在论文设置的“非常非线性”情形中，两者分别为 41.2% 和 45.2%。面对第 7 天突然发生变化的变点，两者分别达到 85.1% 和 85.9%。
这些模拟支持一个克制的结论：在论文考察的趋势形状与 YouTube 数据设置中，简单趋势线的检验效能没有比专门的单调趋势检验低很多。它甚至能检出部分非线性趋势和变点。但这不等于两者同等有效，更不表示直线模型适合所有实验。
为什么这件事值得关注？
这项工作的价值不在于发明一种更复杂的检验，而在于把一个容易被忽略的问题变成日常指标。平均处理效应回答“整个实验期总体怎样”；趋势回答“效果正在往哪里走”。产品决策往往同时需要两者。
它也给工程团队提供了现实取舍。更有针对性的单调趋势检验在部分非线性场景中稍强，但实现更复杂，而且不会直接产出“每单位时间变化多少”这样简单的量。线性模型牺牲一部分形状自由度，换来常规实验无需改造、结果容易解释，也更方便大规模运行。
作者提到另一类 cookie/cookie-day 实验设计：一部分实验单位持续接受处理，另一部分只在某个时点接受处理，再利用累计效果与即时效果的差异估计时间变化。它能容纳更多趋势形状，但需要专门的实验安排。相比之下，这篇论文的方法直接使用持续处理的普通实验数据。
说白了，这项工作不是宣布“实验效果一定会变”，而是提醒团队别默认它不会变。一个平均数适合压缩信息，却也可能把最值得追问的部分压没了。
局限与未知
- 证据全部来自作者团队的 YouTube 实践、A/A 实验和注入趋势模拟，材料没有外部平台的独立复现。
- 线性摘要适合作者所说的平滑、单调、在中等时间范围内近似直线的趋势。更复杂的变化可能需要多项式或样条模型；论文没有给出这些扩展的实证比较。
- 论文展示的是发现趋势的方法，不是长期因果效果的保证。趋势能否代表更长期结果，以及应如何转化为上线决策，仍取决于具体实验环境。