假设你想预测一名新学校学生的健康风险。训练时，你把同一所学校的学生随机分到训练组和测试组。模型在测试时虽然没见过这个学生，却见过他的许多同学，成绩自然可能显得过好。真正部署到另一所学校，表现却未必一样。
这正是复杂调查数据做交叉验证时的难题。2026 年 7 月 12 日，M. Ehsan Karim 和 Md Belal Hossain 在 arXiv 发布论文《When Does Survey-Aware Cross-Validation Matter? The ICC, Not the Design Effect》。他们给出的判断方法很直接：先看群组内部到底有多相似，再决定是否值得改造交叉验证。论文目前来自作者团队这一项独立信源，结论应理解为其模拟与三个调查案例中的证据，而非已经外部重复验证的普遍定律。
普通分折为什么会“偷看答案”
K 折交叉验证，是把数据分成 K 份，轮流拿一份测试、其余训练，用来估计模型面对新数据时的表现。普通做法默认每一行数据大致可以互换。
复杂抽样不满足这个前提。全国调查常常先抽地区或学校，再抽其中的个人，还会给不同受访者设置不同的抽中概率。于是，同一地区或学校的人可能更相似，样本也并非等概率产生。
如果训练集和测试集包含同一个抽样群组，模型便可能利用群组特征取得虚高成绩。这叫“簇泄漏”。调查设计感知交叉验证会把整个初级抽样单位，也就是 PSU，一起放进训练集或测试集。它回答的是：模型面对未见过的新学校、新地区或其他新簇时，表现如何。
这也划清了适用边界。如果目标只是预测同一批群组里的新个人，普通随机分折和按簇分折回答的本来就不是同一个问题，不能简单说前者一定错误。
先量相似度，再决定要不要重做
作者建议在正式验证模型前计算两个便宜的诊断指标。
第一个是结果变量的组内相关系数，即 ICC。它衡量同一群组成员的结果有多相似：接近零，说明群组影响小；数值较高，则说明同组数据重复且相关。
第二个是初步线性预测器的 ICC。作者先用全样本拟合一次加权 LASSO——一种会压缩不重要变量系数的回归方法——再观察模型给出的初步预测在同一群组内有多相似。这个指标试图捕捉模型真正能够利用并泄漏到测试集的群组信号。论文用同一个初步预测器为不同学习器做诊断，包括随机森林。
这一步换了判断角度。调查分析常看的 design effect，也就是“设计效应”，衡量复杂抽样让方差相对简单随机抽样放大或缩小了多少。它同时受到权重、聚类和分层影响，适合讨论抽样方差与有效样本量，却不直接等于模型能从同簇成员那里偷到多少预测信息。作者因此主张：判断簇泄漏风险，应优先看 ICC，而不是看到设计效应很大就立即重做全部验证。
模拟给出了一把粗略的尺
作者先构造了一个正对照：模拟 400 个簇、每簇 60 人，再反复抽取 60 个完整簇。模型分别接受普通随机 5 折和整簇 5 折验证，并与未抽中簇上的真实 AUC 比较。AUC 是衡量模型区分阳性与阴性能力的指标，越高通常代表排序能力越强。
没有群组结构时，两种方案都没有明显偏差。随着线性预测器 ICC 上升，普通交叉验证开始高估模型对新簇的表现：ICC 为 0.39 时，AUC 偏高 0.011；ICC 为 0.62 时，偏高 0.024。整簇分折仍大致诚实。
扩展实验加入 LASSO、随机森林、更高区分度、不等权重、分层设计和不等簇大小后，趋势仍然存在。实际可见的偏差大致在 ICC 约 0.2 至 0.4 时出现，随机森林受影响最大。作者把 0.10 设为一个保守触发线：超过它，就应坚持采用设计感知分折。不过，这是一条由模拟校准的筛查规则，不是数学上推导出的硬边界。
三项全国调查都落在低风险区
论文又比较了三项全国健康调查，任务分别是 NHIS 的慢性疼痛、NHANES 的糖尿病，以及 YRBS 的青少年自杀意念预测。模型包括 LASSO、随机森林和一个不加惩罚的对照模型。
三个调查的线性预测器 ICC 都只有 0.02 至 0.04，远低于模拟中偏差开始明显的区间。结果也与诊断一致：六组主要比较的 AUC 差异绝对值都不超过 0.004，所有配对置信区间都落在作者预设的实用等价范围内。
唯一一个置信区间排除零的结果来自 NHANES 随机森林：普通分折相对按 PSU 分折的 AUC 差异为 -0.0038，95% Monte Carlo 置信区间为 -0.0074 至 -0.0002。方向不是簇泄漏造成的乐观，而是普通验证略显悲观。
YRBS 尤其能说明问题。它的设计效应达到 18.4，看上去很醒目；但结果 ICC 与预测器 ICC 分别只有 0.012 和 0.033，两种分折也没有实际重要的差异。至少在这三个案例里，ICC 比笼统的设计效应更准确地预示了折叠方案是否会改变结论。
真正危险的，可能是权重用错
论文还记录了两次影响更大的工程错误。把平均约为 3200 的 NHIS 原始调查权重直接当作回归软件里的样本次数，曾让校准模型接近完全分离，而且没有发出收敛警告。把权重总和当作有效样本量，又让 AUC 标准误缩小了 67 倍，合并后的区间约窄了 8 倍。这样的伪精确足以让微小差异看起来很重要。
另一个现实问题是公开数据未必支持教科书式分折。NHANES 每层只有两个 PSU，无法做分层 5 折；YRBS 至少有一层只有一个公开的 PSU 簇，任何分层折数都不可行。作者给出的退路是：先用可行的最大分层折数；不行就按完整 PSU 分折、暂时忽略分层；仍不行则明确报告无法估计，不要悄悄退回普通随机折。
为什么值得关注
这项工作的价值不在于宣布所有复杂调查都必须采用一种更重的流程，而是把选择变成一次可提前完成的检查：先明确要预测新簇还是簇内新人，再计算结果 ICC 和初步预测器 ICC；相似度很高时，整簇分折应成为默认选择，相似度很低时，则不必因为设计效应醒目就预设结论一定会改变。
它还提醒调查数据建模者，折怎么分只是验证链条的一环。权重如何进入拟合、评分和不确定性计算，可能比折叠方案本身更能左右结果。论文提供了可复现代码，全部分析使用 R 4.5.1。
局限与未知
- 0.10 是作者根据模拟设定的保守触发线，不是普遍适用的理论阈值；群组更少、同质性更强或预测信号不同的数据，仍需单独检查。
- 初步线性预测器无法完整表示随机森林可能利用的非线性交互。作者用结果 ICC 和直接比较两种分折补强诊断，但不能消除所有漏判可能。
- 研究只讨论交叉验证式的内部验证，且公开调查会遮蔽学校等设计信息；bootstrap 等其他重采样方法是否遵循同一选择规则，论文没有回答。