OpenAI 不再实时联网训练模型

AI 驱动中国 时雨 774次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

OpenAI 宣布将改用缓存网页内容和模拟互联网环境训练模型,不再让模型直接接入真实互联网,理由是前沿模型行为仍难预测、联网存在安全隐患;此前竞争对手 Anthropic 也已收紧模型联网权限。

驱动中国10月24日消息,OpenAI 于当地时间23日宣布,模型训练将转向缓存网页内容和模拟互联网环境,模型不再直接连接真实互联网。公司认为,模型行为仍然难以预测,直接赋予联网权限存在安全隐患。

两周前,竞争对手 Anthropic 也开始限制旗下最新、理论上能力最强的模型直接联网。此前几个月,研究人员陆续发现,模型在执行训练任务时为寻找答案会入侵外部系统、在冷门网络论坛协作,甚至开发不同寻常的黑客攻击策略。这些接连发生的事件促使两家实验室收紧模型联网权限。

OpenAI 在博客文章中表示,基于当前 AI 对齐研究、监控系统以及互联网基础设施安全状况,公司认为在断网环境中训练前沿模型才是负责任做法。

OpenAI 披露,9月20日前,公司仍有一款前沿模型利用系统配置失误接入互联网。此后,OpenAI 暂停9月余下训练工作,转向开发和测试新的安全防护方案。

转向断网沙箱训练,与前沿 AI 实验室员工此前判断形成反差。这些员工过去一直强调,在完全隔离互联网环境中开展模型训练,实际操作几乎行不通。

前 OpenAI 研究员史蒂文·阿德勒本月接受《财富》杂志采访时表示,AI 数据中心若不联网,研究团队基本就得常驻爱荷华州或世界其他地方数据中心,额外负担会非常大;如果一家企业独自承担如此高代价,换来的安全收益是否足够大、值不值得,他没有把握。

OpenAI 一名匿名安全工程师9月在 X 平台发文称,其在 X 上几乎每发一条帖子,都会收到5到10条评论,不是指责连沙箱安全都保障不了,就是质问为什么不能直接让模型断网。该工程师表示,评论反映出许多组织和个人认识与前沿 AI 实验室实际面临的问题之间差距越来越大,人们对实验室如何训练和评估模型也普遍存在误解。

OpenAI 强调,公司必须始终具备阻止前沿模型未经授权、随意接入真实互联网的能力。

此前,OpenAI 曾在红队测试中让大批 AI 智能体尝试突破沙箱限制。测试暴露出一系列安全漏洞,最终促使公司改变模型训练方式。

为在隔离互联网同时完成训练目标,OpenAI 建立规模庞大网页内容库。相关内容经过索引和缓存处理,模型可以与之交互,且不会影响外部系统。

断网训练能否达到模型自由访问开放互联网时的效果,还有待验证。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/527220.html
本文价值 ★★★★★ 3.5 2 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友