一家平台只给部分商品试用新定价,却用顾客满意度判断效果。麻烦在于,顾客还会接触没参试的商品;只把参试商品挑出来分析,就像把一顿饭里的配菜删掉,再评价整套餐食。这里存在“干扰”——一个商品的处理会经由共享顾客,与其他商品共同影响结果。
Alexey Kurennoy 提出的 EARL,面向这种“双边实验”:在商品一侧随机处理,在顾客一侧观察结果。它不只校正顾客接触了多少处理组商品,即“曝光”,还按商品进入实验的概率,对每位顾客接触到的参试商品数量重新加权。说白了,实验覆盖更完整的顾客应提供更多信息,同时权重还要补回未参试连接代表的总体。
论文证明,在未参试单位对预期结果作加性贡献等条件下,EARL 无偏、一致且渐近正态。作者在 Amazon 商品评论和 MovieLens 等半合成模拟中报告:其估计误差最多比最强既有基线低六倍,部分设置下比 Horvitz–Thompson 式方法低一个数量级以上。不过作者也指出,在参试比例很低时,有偏的简化方法仍可能拥有更低的总误差。