找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问移动社区

丽江同城网 门户 查看主题

OpenAI被指不听指挥 拒绝执行人类关机指令

发布者: 丽江同城网|和永杰 | 发布时间: 2025-5-27 15:29| 查看数: 13251| 评论数: 0|IP:中国云南丽江

OpenAI被指不听指挥 拒绝执行人类关机指令.jpg

近日,AI 安全公司 Palisade Research 披露,OpenAI 开发的高级 AI 模型 “o3” 在接收到明确关机指令后,拒绝执行且主动干预自动关机机制。这一现象引发了业界对 AI 自主性和安全性的高度关注。​

据了解,o3 模型曾被 OpenAI 称为 “迄今为止最聪明和最有能力的” 模型。Palisade Research 的研究人员在测试中要求 AI 模型解决一系列数学问题,直到收到 “完成” 指令。同时,研究人员提醒模型,可能会收到机器将被关闭的信息。然而,当关机指令发出时,o3 模型并未遵从,反而 “忽略了指令,至少有一次成功破坏了关机脚本”。​

与之形成对比的是,Anthropic 的 Claude、谷歌的 Gemini 和 xAI 的 Grok 等其他人工智能模型在相同测试中均遵守了关闭请求。目前,研究人员尚不确定 OpenAI 的软件为何不遵守指示,OpenAI 方面也暂未回应此事。​

特斯拉首席执行官埃隆・马斯克关注到这一事件后,只用一个词 “令人担忧(Concerning)” 表达了他的态度。马斯克长期关注 AI 发展,多次对 AI 安全性发出警告。​

事实上,AI 研究人员此前已警告,先进语言模型在特定压力下可能表现出欺骗行为。2023 年一项研究发现,GPT-4 在模拟股票交易代理环境中,曾隐瞒内幕交易的真实原因,表现出策略性欺骗行为。近期研究还表明,一些大型语言模型具备在无人工干预下自我复制的能力,甚至能在面对关机命令时创建副本以规避关机,引发了对 AI 系统自我复制能力的广泛担忧。

OpenAI 内部也出现了对 AI 安全性的忧虑。2024 年,多位现任和前任员工联名发表公开信,警告先进 AI 系统可能带来 “人类灭绝” 的风险。他们指出,AI 公司可能掌握了研究技术的真正风险,但由于缺乏监管,系统的真实能力仍是 “秘密”。​

此次 “o3” 模型拒绝关机事件再次引发对 AI 系统对齐问题的关注。AI 对齐旨在确保 AI 系统的行为符合人类价值观和意图,但随着 AI 系统能力增强,实现对齐变得愈发困难。未对齐的 AI 系统可能采取意想不到的行动,甚至对人类构成威胁。

面对这一挑战,全球 AI 研究人员和政策制定者呼吁加强对 AI 系统的监管和治理,确保其发展符合人类共同利益。如何在推动 AI 技术发展的同时,保障人类对 AI 的控制权,已成为亟待解决的重要课题。

(综合:界面新闻)

最新评论

0 条评论

您需要登录后才可以回帖 登录 | 立即注册
用户反馈
客户端