给一群人发优惠券,没领券的朋友也可能跟着多消费——这叫“干扰”,即一个人的处理会影响别人。研究者常先检验有没有这种溢出:发现有,就换成考虑溢出的模型;没发现,就只分析直接效果。看似谨慎,问题却在于两步用了同一批数据,第一次筛选已经改变了第二次检验的出错概率,直接套用常规结论可能失真。
Takahide Yanagi 提出一套两阶段的选择性随机化推断。随机化推断,是按实验原本的分组规则重新模拟分组,观察结果会有多极端。第一阶段检验是否存在溢出;第二阶段则根据第一步的结果,检验暴露差异或直接效果。关键不只是“换模型”,而是只在那些会重现同一选择结果的反事实分组中比较,并同时保证相关参与者的潜在结果能够推算。换句话说,它把“为什么走到这一步”也算进检验。
论文证明,这两条第二阶段路径都能在有限样本中控制选择后的第一类错误率——也就是把实际上没效果却误报为有效的概率守在设定水平。作者的 Monte Carlo 模拟中,经验误报率接近名义水平。它提醒研究者:预检验不是免费的诊断步骤;只要检验结果决定后续分析,就必须为这次选择付统计账。