一张客户表里,“John Smith, 123 Main St”和“J. Smith, 123 Main Street”看起来是两行,实际上可能是同一个人。空值、重复值和 schema(规定列名、类型与必填项的格式说明书)检查都会放行,但客户数、销售额或模型结果已经被悄悄放大。
KDnuggets 作者 Nate Rosidi 总结了四类这类静默错误:同一实体以不同写法重复;数值在允许范围内,却不符合具体情境;时间戳混入来自未来的信息;计算比例时,分母漏掉了本会改变结论的人。共同点是数据在“语法”上整齐,在现实含义上却不成立。文中举例,普通的逐行去重抓不到改写过的姓名和地址;按事件行计数,也会把一个触发十次事件的用户算成十人。
这提醒团队:数据清洗只能修补明显的缺失、重复和格式问题,不能替代对业务含义的检查。更稳妥的做法,是统一字符串写法、按实体而非原始行去重,并用数据可观测性——持续观察数量、分布和上下游变化——捕捉整体行为异常。文中援引 IBM 所引 Forrester 调查称,四分之一组织估计劣质数据每年造成逾 500 万美元损失;这一数字仍应视为转引结果。