当 AI 用陪伴者或支持者的口吻回应情绪时,用户可能把它当成有关系、有权威的对象。问题也就不只是“答错了怎么办”,而是谁来发现并阻止心理依赖、危机处置失当等现实伤害。
7 月 7 日,以色列海法大学 Ziv Ben-Zion 在 Nature 发表来函,呼吁安全机制尽快补位。作者延续了自己 2025 年的主张:情感响应型 AI——能识别并回应用户情绪的系统——应设置强制性安全措施。这里的“护栏”不只是一轮上线前测试,还包括明确使用边界、人工介入、事故报告和持续监测;红队测试虽能模拟极端情境找漏洞,也不能替代上线后的追踪与问责。
这封来函没有披露新的实验、案例或量化结果,因此更像一次政策提醒,而非风险已被系统测量的研究。Nature 同时披露,作者曾在本文工作之外担任在线心理健康服务商 Talkspace 的顾问。