假设要比较两种促销方案,结果只有“买了”或“没买”。两组人数各半还不够:如果高购买倾向的用户碰巧扎堆一边,成功率之差就会很不稳定。这篇论文讨论如何把实验分组与误差估计一起设计,让结论既精确,也不过度自信。
作者在 Neyman 非参数模型——不预先假定结果服从某种特定概率模型——下推导了两组均值之差的精确方差。他们证明,只要人数均衡,并让年龄、历史购买率等实验前特征保持平衡,设计就能渐近达到最小方差。一个实用办法是区组设计:先把特征相近的人放进小组,再在组内随机分配;在文中的平滑性条件下,一大类区组设计都满足上述要求。
难点是,方差依赖未知的成功概率,因此不存在无偏估计。作者据此提出基于 Cochran–Mantel–Haenszel(CMH)统计量的保守估计:有限样本中宁可把不确定性估得稍大,在“局部备择”——两组差异随样本扩大而保持较小——等条件下又会渐近贴近真实方差。换句话说,这套方案同时照顾了怎么分组和怎么画可信的误差条;相关表现目前来自作者的理论与模拟结果。