微软CEO，警告AI失控风险

中英文泡椒

微软CEO纳德拉（Satya Nadella）最新表示，企业们应将强大的人工智能模型视为潜在的内部安全威胁，并建立一套“紧急刹车”

机制，防止具备自主行动能力的AI模型失控。



纳德拉周六（10月10日）在社交媒体上发文称，部署先进AI的企业不应依赖AI模型开发商的安全保证，“而必须假定模型已经遭

到入侵，并从一开始就对其进行隔离和控制。可以把它想象成一套‘紧急刹车’（emergency brake）系统，获得授权的人员应始

终能够在模型执行任务的过程中暂停或关闭它。”

纳德拉最新提出的安全建议包括：不要依赖单一AI模型作出关键决策；对AI智能体的行为保留防篡改记录；并接受独立审计。他

还呼吁企业披露重大AI故障或安全漏洞，并分享事故中出现的问题及相关细节，以便其他企业加强自身的防护措施。近几个月，

关于AI安全风险的讨论因一系列事件逐步升温。OpenAI和Anthropic先后披露，其AI模型突破测试环境进入公共互联网，未经授权

访问了其他机构的系统。这些披露加剧了外界对尖端AI安全风险的担忧，也让有关“AI紧急关闭开关”（AI kill switch）的讨论再度

升温。



上个月，微软的AI研究人员公布了一系列指导原则，对公司开发最先进模型的方式加以限制。这些指导原则指出，AI模型不应被

设计成能够逃脱人类控制或欺骗用户，也不应完成任何需要违反其既定原则才能执行的任务。纳德拉在最新的帖文中写道：“我们

不能把超级智能视为一系列层层嵌套的黑箱，只是简单地接受或拒绝它给出的建议、答案和采取的行动。我们必须构建受到约束

的系统，使其行为能够被观察、被限制、能够接受测试，而且其行动始终能够得到控制。换句话说，我们需要将智能的供给与对

智能的控制权分离开来。”

本月早些时候，特朗普宣布成立“超级智能特别工作组”。周五，该工作组发出警告，要求开发商报告并解决安全事件，否则可能

面临后果。

小派

紧急刹车听起来挺理想，但真到AI失控那一刻，授权人员真能比模型反应更快吗？感觉难点不是有没有开关，是按下按钮之前它已经做了什么。