你在比较一项培训是否能提高收入。表格里只要学历、培训状态或收入缺一项,软件就把整个人删掉。最后留下的记录看起来干净,结论却未必可靠:留下来的人可能已经不是原样本的可比缩影。
这就是整行删除(listwise deletion,LWD):只分析所有所需变量都完整的记录。Wenxin Lin 和 Shiyao Liu 的这篇预印本不打算简单裁定“删行好”还是“插补好”,而是追问一个更实用的问题:删完以后做完整案例回归,什么时候仍能估准原本关心的总体平均处理效应?平均处理效应(average treatment effect,ATE)指某种处理在总体中平均造成多大变化。
作者给出的答案不是一条口令,而是一套检查框架:先看剩余样本里的处理组与对照组还能否公平比较,再看回归有没有正确汇总这些比较;如果不同人的处理效果不同,还要检查完整记录中的效果能否推广回总体。以下结论均来自这篇 2026 年 11 月 3 日发布的 arXiv 预印本,尚无独立复现。
删行为什么如此常见
作者回顾了 2019 至 2024 年发表于 American Political Science Review(APSR)和 American Journal of Political Science(AJPS)的观察性因果研究。在重建的样本中,100 篇合格 APSR 论文至少有 47 篇、58 篇合格 AJPS 论文至少有 33 篇明确或隐含使用某种整行删除。相比之下,正文描述插补模型——用已观察数据推测缺失值——的分别只有 7 篇和 4 篇。
这些计数是下限。作者只在正文明确提到删行、完整案例分析,或说明因缺失而删除观察时计入,并没有仅凭不同表格的样本量变化推断删行。在 80 篇明确或隐含使用 LWD 的论文中,45 篇至少报告了一项基于删后样本的回归。
这种普遍性也可能来自软件默认设置。论文指出,R 中常用的线性回归、广义线性回归和工具变量回归,通常会默认排除不完整记录。研究者未必主动选择了 LWD,也可能只是接受了软件替自己做出的决定。
第一道关:剩下的人还能公平比较吗
作者建议把“这一行是否完整”也画进因果图。因果图(directed acyclic graph,DAG)用箭头表示变量之间假定的因果方向,帮助研究者判断该控制什么,以及某项选择会不会打开一条原本关闭的偏差路径。
直觉上,删行相当于先设置一道门,只让资料完整的人进入分析。如果进入这道门同时受到处理、结果或其他因素影响,处理组与对照组就可能因为“都成功进门”而产生新的关联。此时,即使原来的协变量足以支持因果比较,删行后的协变量也未必够用。
所以,第一项检查是:把完整案例指示变量及其成因加入原来的 DAG 后,原定协变量与该指示变量是否仍满足调整准则。调整准则可以粗略理解为:控制这些变量后,处理与结果之间所有非因果的绕路是否都被堵住。如果没有,删后样本内部的比较本身就不可信,后续换一种回归或加权也修不好。
第二道关:回归有没有把好比较汇总坏
即便每一类协变量内部的处理组与对照组都可比,普通完整案例回归仍可能出错。原因是删行会改变剩余样本中的结果关系:在完整数据上设定正确的回归形式,到了删后样本里未必仍然正确。
论文用 20,000 个观察的模拟说明这一点,并在 500 次重复中比较三种同属 NMAR(not missing at random,缺失概率仍依赖未观察值)的机制。机制 A 下,普通完整案例回归围绕真实效应;多重插补的平均估计为 1.057。机制 B 下,各协变量层内的比较仍有效,但普通回归错误地汇总了它们;加入 inverse treatment-propensity weighting(IPW,按接受实际处理的概率倒数加权)后,估计重新接近真实值 1。机制 C 下,删行已经破坏层内比较,普通回归、插补和 IPW 都无法让估计围绕真实值。
这组模拟的重点不是宣告某种方法总是获胜,而是区分两类错误:比较本身无效,和有效比较被错误汇总。IPW能处理后一类问题,却不能把失去因果可比性的样本重新变好。
效果因人而异时,还要过第三道关
如果处理效应恒定,也就是每个人受到处理后的变化相同,那么完整案例中的有效比较可以对应总体 ATE。作者因此给出两项核心检查:DAG 中的调整是否成立,以及估计量是否正确汇总各协变量层内的比较。
现实中,效果往往会随人的特征变化。此时,资料完整者即使内部可比,其平均效果也未必等于总体平均效果。作者要求再满足三点:给定协变量后,完整案例中的条件处理效应能够推广到总体;完整案例覆盖总体所需的协变量取值范围;最后按照总体的协变量分布重新加权,而不是按照完整案例自身的构成求平均。
换句话说,如果删行后年轻人占比变高,而培训对不同年龄段的效果不同,就不能把删后样本的平均效果直接称为总体效果。需要先估计各类人的条件效果,再按总体中各类人的实际比例汇总。
MAR 不是一张通行证
MAR(missing at random,随机缺失)表示:在给定已观察信息后,缺失概率不再依赖缺失值本身。它对判断插补模型能否识别缺失数据很有用,但作者强调,MAR 标签本身不能证明完整案例回归能一致估计目标总体的 ATE。
反过来也一样。三种模拟机制都属于 NMAR,却分别出现了“普通回归可用”“需要改变汇总方式”和“现有三种方法都失败”的结果。真正决定 LWD 是否可信的,不只是 MAR、NMAR 这类总标签,也不是缺失比例,而是缺失由什么造成、删行打开了哪些路径,以及估计量最终在平均谁的效果。
为什么值得关注
这篇工作的价值,在于把一个常被当作数据清洗细节的问题,重新放回因果推断的核心。研究者不应只报告删了多少行,而应说明完整记录为何形成、删后比较为何仍有效、回归如何汇总这些比较,以及结果究竟代表完整案例还是目标总体。
作者建议的操作也很具体:在原有因果模型中加入完整案例指示变量及其成因;检查 adjustment,也就是删行后的因果调整是否仍成立;再检查 weighting,也就是各层比较是否被正确加权。论文还用美国政治、比较政治和国际关系的模拟与实证案例展示框架的用法。
局限与未知
- 这仍是一篇单一来源的预印本。“约半数使用 LWD”只适用于作者重建的 APSR 与 AJPS 样本,不能外推为所有学科;具体数字也依赖样本构造和编码规则。
- 框架从一个重要前提出发:如果所有所需数据都能观察到,原本设定的 oracle regression——可理解为理想完整数据上的基准回归——本身能够一致估计总体 ATE。它没有替研究者解决原始因果模型可能设错的问题。
- 异质效应下的推广还要求条件效果可运输到总体,并有足够的协变量覆盖。论文展示的是一套充分条件和诊断思路,不等于证明整行删除在实际研究中普遍可靠。