老板说要一张实时看板,工程团队很容易马上讨论技术选型,把数据管线——负责搬运、清洗并送出数据的系统——做得又快又稳。可如果管理层每周才看一次,而且数据晚一两天也不影响决定,这套实时能力就只是漂亮工程,没有带来实际价值。
SeattleDataGuy 提醒,工程师常问的是“技术上为什么这样做”,例如选 Snowflake、Databricks 还是 Fabric,却默认项目本身值得做。更该先问的是:它要推动什么行动,成功后什么会变?批处理是隔一段时间集中处理数据,实时处理则让新事件持续流动;两者的选择,不该取决于哪种技术更时髦,而要看更快的数据是否真能让人采取不同动作。作者认为,项目即使产出大量代码、设计文档和架构图,也可能几个月后仍没有业务价值。