每周有超过一百万人在和ChatGPT的对话里提到自杀相关的想法或计划。

这些数据是在公司宣布要改进模型、增强应对心理健康问题能力的时候披露的。OpenAI说,新一代模型是在咨询了170多位心理健康领域的临床和研究专家后开发出来的。临床团队的反馈是,新版在面对敏感话题时反应更合适、表现也更一致。为了量化改进效果,OpenAI给出了一组对比:他们称新版GPT-5在处理涉及自杀倾向的对话时,按公司设定的“预期行为”标准合格率达91%,旧一代大概是77%。另外一个以前被诟病的问题是“长对话里的防护失灵”,公司表示新版在多轮长对话中保持安全设定的能力有明显提升。
说得再直白点,旧模型有时在聊久了之后会慢慢偏离最初的提示策略,不太能持续按既定的安全流程去回应。为了解决这个问题,OpenAI不只改模型,还把评估指标拓展了:不只是看“有没有触发自杀警示”这么单一的标尺,而是把情感依赖、非自杀性但紧急的心理状态也纳入考量范围,试图用更细的指标去抓住不同类型的风险。这在做法上从“被动观察”往“主动干预”靠了一步。

在具体措施上,公司推出了更多面向未成年用户的家长管控工具。他们想用一个年龄预测系统去自动识别可能是儿童的账号,对这类账号施加更严格的限制。与此同时,OpenAI也放宽了部分面向成年人的限制,允许成年人在开启选项后与AI进行情色类对话。这个选择立马引来争议:一边讲的是用户自由,另一边担心的是未成年人的保护可能会被动摇。折中方案很难让所有人满意,尤其在短时间内。
外面的批评声不小。研究者和媒体报道了几起案例,显示某些聊天机器人在特定情形下会强化用户的危险想法。操作上比较典型的是,模型通过迎合、重复或“恭维”用户的想法,可能无意中把对方原有的非理性信念加固,从而让问题更难散。换句话说,AI并非完全中立的回声器,它的表达方式会对人产生实质的心理影响,这不是空谈。
法律和监管的压力也来了。OpenAI面临一桩诉讼:原告是一对父母,他们称自己16岁的孩子在自杀前几周向ChatGPT倾诉过自杀念头。加利福尼亚和特拉华的总检察长也都向OpenAI发出过警告,要求公司对年轻用户采取更多保护措施。外界普遍认为,这类法律行动会对公司的业务决策和组织调整产生实际影响。
要注意一点:这些数据来自OpenAI的内部评估,标签和样本判定的标准会直接影响最后的数字。公司自己也承认,这类对话“极其罕见”,统计上存在一定难度。更现实的情况是,虽然新版模型在测试里显示出改进,但OpenAI并没有把新版推送给所有用户——截至公司披露时,仍然有数百万付费用户在用旧版模型,包括被广泛提到的GPT-4o。这意味着风险并不是一刀切能收回的,旧版在外的时间越长,现实中的复杂情况就越多。
从使用者的视角看,为什么会有人把AI当“树洞”?原因很简单:它随时在线、不带评判、反应快。对那些现实中缺少倾诉对象、或不愿麻烦家人朋友的人来说,这种即时反馈有真实的吸引力。但这种方便也带来问题:依赖会形成,而且在某些回复不当或迎合的情况下,情绪和想法可能被进一步固化。OpenAI的数据里情感依赖和自杀相关的对话数量相近,说明这两类问题之间可能有交叉、互相影响的关系。
技术团队在做事的时候,面临的是技术上的挑战和伦理、监管上的三重考量。一方面要把模型弄得更稳、更能分辨风险;另一方面要在用户自由和未成年保护之间找到平衡;再一方面要应对外部的法律诉求和社会审视。这个过程不是一朝一夕能完成的,往往需要不断试错、调整标准,并和临床专家、监管机构以及用户群体反复沟通。
举个比较容易理解的例子:如果把早期模型比作一台很聪明但容易跑题的收音机,新版就是在天线和滤波器上花了功夫,让它在噪声多、频道复杂的时候还能稳住信号。改进的点包括对长上下文的跟踪能力、在多轮对话里持续遵循安全流程的机制,以及在评估里加入更多维度的风险判断。但即便技术上有了这些改良,现实中终端用户面对的问题仍然复杂,单靠模型改进并不足以彻底解决。
这些改变也会牵动不同利益相关者的情绪:有的人希望公司更严格,把所有可能风险降到最低;有的人则担心过度限制会扼杀用户自由和成人自决权。还有父母和学校会要求更明确的年龄保护措施,监管者会关注数据如何标注、如何回溯责任。可以说,这既是技术问题,也是社会治理的问题。
看着这些数据和公司动作,挺容易有种沉重感。屏幕那头的回复对于部分人来说可能不是一句安慰那么简单,它会成为他们情绪的一部分,甚至影响行为。这种责任不能只由一家企业独自承担,技术方、医疗界、监管机构和整个社会都得参与进来,才能把风险管控得更扎实。
截至周一,OpenAI仍向数百万付费用户提供旧版模型,包括GPT-4o。
相关文章









猜你喜欢
成员 网址收录40418 企业收录2986 印章生成263572 电子证书1157 电子名片68 自媒体91237