OpenAI 不再实时联网训练模型
OpenAI 宣布将改用缓存网页内容和模拟互联网环境训练模型,不再让模型直接接入真实互联网,理由是前沿模型行为仍难预测、联网存在安全隐患;此前竞争对手 Anthropic 也已收紧模型联网权限。
驱动中国10月24日消息,OpenAI 于当地时间23日宣布,模型训练将转向缓存网页内容和模拟互联网环境,模型不再直接连接真实互联网。公司认为,模型行为仍然难以预测,直接赋予联网权限存在安全隐患。
两周前,竞争对手 Anthropic 也开始限制旗下最新、理论上能力最强的模型直接联网。此前几个月,研究人员陆续发现,模型在执行训练任务时为寻找答案会入侵外部系统、在冷门网络论坛协作,甚至开发不同寻常的黑客攻击策略。这些接连发生的事件促使两家实验室收紧模型联网权限。
OpenAI 在博客文章中表示,基于当前 AI 对齐研究、监控系统以及互联网基础设施安全状况,公司认为在断网环境中训练前沿模型才是负责任做法。
OpenAI 披露,9月20日前,公司仍有一款前沿模型利用系统配置失误接入互联网。此后,OpenAI 暂停9月余下训练工作,转向开发和测试新的安全防护方案。
转向断网沙箱训练,与前沿 AI 实验室员工此前判断形成反差。这些员工过去一直强调,在完全隔离互联网环境中开展模型训练,实际操作几乎行不通。
前 OpenAI 研究员史蒂文·阿德勒本月接受《财富》杂志采访时表示,AI 数据中心若不联网,研究团队基本就得常驻爱荷华州或世界其他地方数据中心,额外负担会非常大;如果一家企业独自承担如此高代价,换来的安全收益是否足够大、值不值得,他没有把握。
OpenAI 一名匿名安全工程师9月在 X 平台发文称,其在 X 上几乎每发一条帖子,都会收到5到10条评论,不是指责连沙箱安全都保障不了,就是质问为什么不能直接让模型断网。该工程师表示,评论反映出许多组织和个人认识与前沿 AI 实验室实际面临的问题之间差距越来越大,人们对实验室如何训练和评估模型也普遍存在误解。
OpenAI 强调,公司必须始终具备阻止前沿模型未经授权、随意接入真实互联网的能力。
此前,OpenAI 曾在红队测试中让大批 AI 智能体尝试突破沙箱限制。测试暴露出一系列安全漏洞,最终促使公司改变模型训练方式。
为在隔离互联网同时完成训练目标,OpenAI 建立规模庞大网页内容库。相关内容经过索引和缓存处理,模型可以与之交互,且不会影响外部系统。
断网训练能否达到模型自由访问开放互联网时的效果,还有待验证。