11月10日消息,OpenAI对外表示,已在内部研究环境中启用“控制室”安全系统,用于终止存在风险的AI任务,最快35秒便可关停失控的AI智能体。
据了解,该系统将智能体训练、评测及数据处理等任务统一汇入中央服务,再由中央服务判断相关任务能否继续运行。
与只会标记异常行为的传统监控方式不同,这套系统能够主动拦截带有风险的研究任务生成后续内容。研究员启动任务前,需要先向控制室申请专属任务ID,该标识会随请求一并发送至推理引擎,而引擎必须向控制室核验是否获得任务放行权限。
当研究员或监控系统发出停止指令后,控制室会拒绝该任务后续的推理请求,推理引擎也不会再为该任务返回模型结果。
OpenAI表示,从系统接到停止命令到任务真正被阻断,最长需要35秒。目前产生的延迟主要源于推理授权缓存,团队正在持续优化,目标是将其降至0。
该系统还支持接入自动化监控能力。每项前沿强化学习任务都会配置一个独立的模型监控器,用于实时检测模型行为;一旦识别出风险,便会自动触发警报。






