你让一百名水平相近的选手各投几次篮，只公布当天命中率最高的人，再说他明显强过老冠军。这个结论未必全错，但“最高分”里混进了运气。模型评估也会遇到同样的问题：团队尝试多种模型构造，挑出成绩最好的一个，却用针对单一模型的常规方法校正成绩。M. Ehsan Karim 的这篇论文指出，这会漏掉挑冠军产生的乐观偏差，让新增判别能力看起来比实际更可靠。论文提出的修补办法很直接：在 Bootstrap 的每次重抽样中，都把比较候选、选出冠军的过程重新走一遍。
本文的数字和效果结论均来自这篇 arXiv 论文及作者模拟，尚无外部复现或同行评议材料支持。
冠军不只是实力最好，也可能运气最好
论文讨论的是共病指数。它把患者同时存在的多种疾病信息汇总成风险分数，用于预后或风险调整。研究团队常希望做出针对某种疾病的新指数，再与 Charlson 或 Elixhauser 这类现成指数比较。
问题在于，“开发一个指数”通常不是只拟合一个模型。团队可能尝试不同疾病组合、编码与分组方式、权重方案或变量筛选规则，然后留下开发数据上表现最好的版本。
如果各候选的真实水平相近，它们的观测成绩却都会受随机波动影响。最后胜出的模型往往既有实力，也恰好赶上了有利波动。这就是赢家诅咒：从许多带噪声的成绩中取最大值，最大值会系统性偏高。候选越多，撞上一个“幸运冠军”的机会通常越大。
论文关注的指标是增量一致性指数，即入选模型与固定参照指数之间的 concordance 差。一致性指数衡量风险排序能力：模型能否把更早发生事件的人排在更高风险位置；0.5 近似随机排序，越接近 1，排序能力越强。但它不代表预测概率本身准确。
这里还有一个重要的不对称。新指数由当前数据训练，并经过多选一；参照指数则权重冻结，只拿来评分，从不重新拟合。因此，需要校正乐观偏差的是开发端，而且校正必须包括“拟合”和“挑选”两部分。
常规校正漏掉了哪一步？
Bootstrap 是从现有样本中有放回地重复抽样，用来模拟重新收集数据时成绩会怎样波动。常见做法会对最终入选模型做 Bootstrap 校正，但把它当成从一开始就指定的唯一模型。这样可以估计单个模型在训练数据上显得过好的程度，却没有计算它为何能从多个候选中胜出。
论文把遗漏项称为选择乐观度。它不是普通的小样本误差。作者的理论分析认为，随着样本增大，选择偏差和估计的标准误都会缩小，但两者之比不会自动趋近于零。换句话说，只增加样本，不重做评估逻辑，置信区间仍可能持续错位。
这会影响“新模型增加了判别价值”这样的判断。95% 置信区间的含义，是同样的研究反复进行时，区间应有约 95% 的时候包含真实值。若覆盖率明显偏低，区间通常过窄，证据看起来就比实际更确定。在真实增益为零的模拟中，常规校正还会让错误宣称“有新增价值”的比例高于名义水平，并随候选数增加而恶化。
把选冠军也放进重抽样
选择感知 Bootstrap 的关键只有一步：每次重抽样后，不固定原来的冠军，而是重新拟合全部候选、重新比较，再选出当次冠军。固定参照指数仍然只重新评分，不重新训练。
这相当于评估完整的工作流程：训练多个候选，选最佳者，再与冻结的参照比较。它不假装研究者早已知道哪个模型会赢，因此能把选模造成的额外乐观度纳入校正。论文称，三种 Bootstrap 区间可以共用同一个重抽样循环，因此选择感知版本不会比常规单步校正额外增加主要计算成本。
这与交叉验证的目标也不完全相同。交叉验证会在不同数据折中选出不同冠军，更接近评估整套选模流程的平均表现；论文的方法瞄准的是当前研究最终选中并准备汇报的那个模型，相对固定参照究竟增加了多少判别能力。
一百个候选时，差距已经不能忽略
在真实值完全已知的模拟中，只有一个候选时，常规单步校正的 95% 区间覆盖率为 0.94。候选增至 5、20 和 100 个时，覆盖率依次降至 0.89、0.78 和 0.70。也就是说，在作者的头部模拟设定里，筛选一百个候选后，标称 95% 的区间只有约 70% 的时候覆盖真实值。
选择感知区间在同一序列中的覆盖率为 0.94、0.94、0.92 和 0.91，保持在名义水平附近，但并非精确达到 0.95。作者还把它与经过模拟校准的交叉验证区间比较：两者覆盖率相近；把错误率调到一致后，选择感知方法的统计功效至少相当。这里的统计功效，指真实存在提升时把它识别出来的能力。
作者也用 Uno’s concordance 做了确认。它通过对删失进行逆概率加权来处理生存结局中部分事件尚未观察完整的问题，结果仍显示同样的选模机制。基于真实 NHANES 调查数据构造的半合成实验也复现了偏差与修正效果。不过，“半合成”意味着真实数据与人为设定的已知真值相结合，不等于真实世界的前瞻性验证。
为什么值得关注
这项工作的价值不在于发明 Bootstrap 或发现赢家诅咒。作者也明确说，这些基础思想早已存在。它真正补上的，是一个很常见却容易被忽略的评估对象：从多个构造里选出的模型，相对一个从不重训的固定基准，究竟增加了多少判别能力。
它给出的实践提醒很清楚：只要尝试过多个候选，就不应在评估时假装只训练过冠军。论文认为，候选数量多、候选真实水平相近，以及每个候选可用的结局事件较少时，这项校正尤其重要。标题里的“提升可能是幻觉”也应限定在这里：不是最佳模型必然没有提升，而是先从多个候选中挑最高分者，再按预先指定单一模型的方式校正，可能夸大新增判别能力及其确定性。
局限与未知
- 论文只处理 discrimination，也就是风险排序能力；它没有评估 calibration（预测概率与实际发生率是否吻合）、临床效用或其他性能维度。
- 在候选模型真实表现完全并列时，普通 Bootstrap 对“取最大值”这一步存在理论难题。作者留下了完整一致性证明，并建议考虑较小规模重抽样或子抽样方案。
- 关键数字依赖作者设定的模拟场景，不能推成所有模型筛选都会出现同等幅度的失真。论文声称开放软件可复现全部结果，但供稿未附代码仓库，也没有独立复现可供核验。