你想清理一篮水果，用一台机器挑出坏果。机器确实扔掉了一些可疑品，却也把不少好果一起丢了。最后篮子看起来更整齐，能吃的反而更少。训练数据里的 AI 文本清洗，也可能出现同样的问题。
Abdullahi Dattijo 在 Towards Data Science 的一篇文章中测试了三种识别训练集内 AI 文本的方法。结果是，检测器把许多真实评论也标成了 AI 生成内容；删除这些评论后，用剩余数据训练的情感分类模型反而更不准确。情感分类，就是让模型判断一段评论表达的是正面还是负面态度。
这项结果只有作者单篇文章作为信源，而且摘要没有公开数据集、三种方法的具体设置、误判数量或准确率降幅。因此，它更像一声值得认真对待的警报，还不是可以推广到所有数据集的定论。
检测器找到的，未必是 AI
所谓 AI slop，通常指批量生成、质量低或缺少人工把关的 AI 内容。它可能混入训练语料，于是一个看似自然的做法是：先用检测器筛出来，再全部删除。
问题藏在“筛出来”这一步。AI 检测器给出的通常只是判断，不是作者身份的证明。把真人文本误判为 AI 文本，叫作假阳性（false positive）。如果检测结果直接触发删除，一次识别错误就会立刻变成训练集的信息损失。
这种风险并非只存在于这次测试。据 ICWSM/AAAI 的一项真实社交网络文本审计，先进的 AI 文本检测系统仍会产生相当数量的假阳性。实验室里的识别成绩，不能直接等同于复杂真实环境中的可靠性。
一个更直观的例子来自教育场景。据 Vanderbilt University Center for Teaching，Turnitin 在 2023 年推出 AI 写作检测后，该校估算：每年约有 7.5 万份作业提交，即便误报率只有 1%，也可能产生约 750 份“疑似 AI 作业”。学校随后关闭了这项功能，并提醒教师，检测结果不能证明学生作弊。小比例的错误一旦批量执行，就会变成大规模误伤。训练集清洗面对的是同一道算术题。
真正该看的，是清洗后的模型
这篇文章最值得注意的地方，不是“三种方法谁抓得更多”，而是作者继续做了下游验证：把检测器标记的评论过滤掉，再观察情感模型的表现。模型准确性下降，说明“数据看起来更干净”和“数据对任务更有用”不是一回事。
不过，这个结果也不能反过来证明 AI slop 有益，更不能推出所有疑似 AI 内容都该保留。性能下降可能来自误删真人样本，也可能只是因为训练集变小，或者不同情感类别的比例被改变。现有摘要没有提供足够细节来区分这些解释。
更稳妥的原则是：清洗规则不能只汇报删掉了多少“脏数据”，还要比较清洗前后的模型在独立测试集上表现如何。NBER 收录的 Jabarian 与 Imas 的研究也提出，实际部署 AI 文本检测器时，需要同时权衡假阳性与假阴性——后者指漏掉真正的 AI 文本——并根据使用者能够承受的误判成本设定阈值。说白了，检测不是一道抽象的判断题，而是一项带有删除代价的业务决策。
为什么现在值得警惕
标题称 AI slop “已经”进入训练集，但现有材料没有说明具体数据集，也没有验证被标记的样本确由 AI 生成。因此，“已经混入”目前更适合作为作者提出的问题，而非普遍事实。
但文章揭示的生产化风险很现实：当团队急于清除 AI 内容时，检测器的误判会沿着流水线被放大。一个看似严格的过滤规则，可能悄悄删掉真实、有用，甚至难以替代的人类表达。数据质量不能只用“纯不纯”衡量，还要看它能否让最终模型把任务做好。
局限与未知
- 摘要没有披露三种检测方法、所用数据集、样本规模和实验重复次数。
- “许多真实评论”和“准确性下降”都没有具体数字，也没有显著性信息。
- 过滤后变差的原因尚未拆分，不能据此判断应当保留哪些 AI 内容。