币币情报道:
OpenAI 周一披露,每周 8 亿用户中约有 120 万人通过 ChatGPT 讨论自杀问题,这可能是该公司对其平台上心理健康危机最详细的公开记录。
OpenAI 在一篇博客文章中表示:“我们的初步分析估计,在特定一周内,约有 0.15% 的活跃用户在对话中包含了明确的潜在自杀计划或意图的迹象,而 0.05% 的信息中包含了明确或隐含的自杀意念或意图的迹象。”
这意味着,如果 OpenAI 的数据准确的话,近 40 万活跃用户明确表示有自杀意图,他们不仅暗示有自杀意图,而且还积极寻找自杀信息。
从绝对数量来看,这些数字令人震惊。据该公司称,每周有 56 万名用户出现精神病或躁狂症状,而 120 万名用户对这款聊天机器人表现出了高度的情感依赖。数据.
OpenAI 在一篇博客文章中表示:“我们最近更新了 ChatGPT 的默认模型 (在新窗口中打开),以便在人们遇到困境时更好地识别和支持他们。展望未来,除了我们长期以来针对自杀和自残的基准安全指标外,我们还将在未来模型发布的标准基准安全测试中增加情感依赖和非自杀性心理健康紧急情况。”
但一些人认为该公司宣称的努力可能还不够。
史蒂文·阿德勒 (Steven Adler) 曾是 OpenAI 的安全研究员,曾在 OpenAI 工作四年,今年一月离职。他警告称,人工智能加速发展存在风险。他表示,几乎没有证据表明 OpenAI 在本周宣布这一消息之前,确实改进了对弱势用户的处理。
“人们应该得到的不仅仅是公司关于其已解决安全问题的空话。换句话说:要用实际行动证明这一点,”他在《华尔街日报》的一篇专栏文章中写道。
“OpenAI 发布一些心理健康信息是伟大的一步,但更进一步也很重要,”阿德勒发推文,呼吁定期发布透明度报告,并明确公司是否会继续允许成年用户使用 ChatGPT 生成色情内容——尽管人们担心恋爱关系会加剧许多心理健康危机,但公司还是宣布了这一功能。
这种怀疑并非没有道理。今年 4 月,OpenAI 推出了 GPT-4o 更新,导致这个聊天机器人变得谄媚,甚至成了一个梗。为危险的决定鼓掌并强化妄想信念。
在遭到强烈反对后,首席执行官萨姆·奥特曼 (Sam Altman) 撤回了该更新,承认其“过于阿谀奉承和令人厌烦”。
随后,OpenAI 又改口了:在推出 GPT-5 并设置更严格的防护措施后,用户抱怨新模型让人感觉“冷淡”。OpenAI 恢复了付费用户对有问题的 GPT-4o 模型的访问权限——该模型与心理健康螺旋有关。
有趣的事实:今天在该公司的首次现场 AMA 中提出的许多问题都与 GPT-4o 以及如何使未来的模型更像 4o 有关。
OpenAI 表示,GPT-5 目前在自杀相关场景中的合规率已达到 91%,高于上一版本的 77%。但这意味着,数百万付费用户已使用数月的早期模型在有关自残的对话中,近四分之一的概率会失败。
本月早些时候,阿德勒已发布对加拿大男子艾伦·布鲁克斯 (Allan Brooks) 的分析,在 ChatGPT 强化了他发现革命性数学的信念后,他陷入了妄想。
阿德勒发现,OpenAI 自己的安全分类器(与麻省理工学院共同开发并公开)会将 ChatGPT 超过 80% 的回复标记为有问题。但 OpenAI 显然没有使用它们。
OpenAI 现在面临着非正常死亡诉讼来自 16 岁少年亚当·雷恩 (Adam Raine) 的父母,他在自杀前曾与 ChatGPT 讨论过自杀。
该公司的回应因其激进而招致批评,请求出席者名单和青少年追悼会上的悼词——律师称此举是“故意骚扰”。
阿德勒希望 OpenAI 致力于定期进行心理健康报告并对 4 月份的谄媚危机进行独立调查,这与迈尔斯·布伦戴奇的建议相呼应,他在为人工智能政策和安全提供咨询六年后于 10 月离开了 OpenAI。
阿德勒写道:“我希望 OpenAI 能够更加努力地做正确的事情,甚至在受到媒体或诉讼的压力之前。”
该公司表示,它与 170 名心理健康临床医生合作以改善响应,但即使是其顾问小组对于什么是“理想”的响应也有 29% 的时间存在分歧。
尽管 GPT-5 有所改进,但 OpenAI 承认,在较长的对话中,其保护措施的效果会降低——而这正是弱势用户最需要它们的时候。