给失控 AI 智能体装”急刹车”:OpenAI 35 秒熔断机制上线

约 609 字 · 预计阅读 2 分钟

内容概览

本文围绕“给失控 AI 智能体装”急刹车”:OpenAI 35 秒熔断机制上线”整理核心信息、适用场景与使用条件,便于读者快速了解重点,再决定是否进一步体验或查阅项目资料。

详细信息

AI 智能体一旦跑偏,人类还能不能拉得住缰绳?OpenAI 在 11 月 10 日给出了一道新保险——名为”控制室”的系统已在内部研究设施上线,专门用来掐断有风险的 AI 任务,最快能在 35 秒内叫停一只失控的智能体。

image.png

从”报警”升级到”断供”

传统监控只会给可疑行为贴标签,而控制室走的是主动阻断路线。它把智能体训练、评估和数据处理等任务负载接入中央服务,由系统拍板某项任务能否继续吐出内容。研究员启动任务前,必须向控制室申领唯一任务 ID,这个身份标识会跟随每一次发给推理引擎的请求;引擎在跑之前得先问控制室:”这活儿能不能干?”

一旦研究员或监控系统喊停,控制室就会拒绝下一次推理请求,让引擎不再为该项任务输出任何模型结果。换句话说,危险动作不是被记录,而是被当场切断。

35 秒延迟,目标归零

OpenAI 透露,从收到停止指令到彻底拦下任务,最长耗时 35 秒。这道时差来自推理授权请求的缓存层,公司正设法把它压到零。与此同时,所有前沿强化学习任务都配了独立的模型监控器,负责盯行为、发现问题就拉响警报。

让 AI 自己看着 AI 跑、再设一道人工可触发的急停开关,OpenAI 这套组合拳,折射出行业对”失控智能体”风险的警惕正从纸面预案走向工程落地。

编辑整理:阅读要点

  • 功能和价格可能随版本或地区变化,使用前应查看最新说明。
  • 安装软件或启用服务时,优先使用项目官方渠道并检查所需权限。
  • 是否适合长期使用,应结合自身设备、工作流和实际体验判断。

延伸阅读

查看相关项目或原始资料

资料来源:news.aibase.com。本文依据公开资料整理,不是独立采访或独家报道。

Avatar photo

By Tony

Share via
Copy link