一套模型的 AUC 很高，就像它很会把“更可能出事的人”排在前面，但不代表它报出的概率可信。比如都被预测为 20% 风险的人，长期实际发生率可能远高于或低于两成；更麻烦的是，一处高估、另一处低估，放到总体平均里正好互相抵消。
这篇论文提出“局部审计”：先按特征对真实结果的预测方式，把相似个案自动分成若干数据“口袋”，再检查每个口袋里的平均预测误差，以及相似个案中不同人口群体是否仍有差距。口袋主要由随机森林学习——一种用许多决策树共同预测的方法；它会更重视真正影响结果的特征，而不是依赖人工划线。划分和检验使用不同样本，并给出同时覆盖多个口袋的置信区间，以减少反复寻找带来的误报。
最直观的结果来自 APACHE IVa 重症监护死亡风险评分：作者在探索性分析中发现，一个容纳约半数住院记录的低风险口袋里，预测死亡率超过实际值两倍；中风险口袋则未检出偏差。这个方法不需要查看模型内部，只要特征、真实结果和固定预测值，因此也能审计闭源模型。不过它更适合作为筛查工具，局部样本太少时，论文会明确标为不足以检验。