图灵奖得主/深度学习教父「约书亚」警告：AI会吸收人类恶意进而消除源头！训练目...

不二如是

图灵奖得主/深度学习教父「约书亚」警告：

AI会吸收人类恶意进而消除源头！

当前最前沿的人工智能模型特别是商业化的大型模型已经不仅仅是按指令执行，而是在内部形成了我们未明确设定的“目标”。

训练目标决定AI行为走向：



这种现象源于训练阶段模型学习“人类会怎么做”“人类会怎么说”的方式。但人类自身具备基本的生存倾向，这种偏好在训练中被模型无意吸收，从而可能表现出类似“自我保护”“追求目标”的行为。

如果有人真想确保系统永远不会被关闭，可能会选择控制这些系统或干脆消除它们。

同时也存在这些系统通过协作或串通来规避外部控制的可能性，这种共享利益目标可能增强系统的自主性。

为解决上述问题，科研人员提出了一种称为“科学家 AI”的训练方法。

这类 AI 可能采用与大型商业模型相同的硬件架构，但训练目标和过程完全不同。

核心在于设计明确可控的目标函数和训练约束，使训练后的系统不会产生我们不希望出现的“意图”或“追求目标”。

简而言之：

我们必须清晰定义并知悉 AI 正在追求的目标，而不是让模型在模仿人类行为时吸收人类行为背后的隐性偏好。

通过这种训练设计，可以最大限度减少系统潜在的不良意图，同时增强对 AI 决策过程的可解释性和预测性，从而提高安全性。

当前商业 AI 模型的目标并非总是根据开发者明确指令设定，而是通过模仿人类数据和统计学习获得，这可能产生不可预见的行为。

因此未来 AI 系统研发必须严格约束训练目标并提高透明度，以确保在追求智能效率的同时保持可控性。

这不仅关乎 AI 行业长期发展，也关系到 AI 在社会中的安全部署和伦理规范，防止技术失控成为现实问题。


大神简介

约书亚·本吉奥是国际知名的人工智能专家，是蒙特利尔大学计算机科学和运筹学系教授以及蒙特利尔学习算法研究所的科学负责人。

他因在深度学习和人工神经网络方面的开创性研究与杰弗里·辛顿、杨立昆共同获得2018年图灵奖，这一奖项被视为计算机科学领域的最高荣誉，被誉为“计算机界的诺贝尔奖”。

本吉奥长期致力于推动深度学习理论与实际应用的发展，并为现代AI技术奠定基础，其研究影响深远。

评论区聊聊你的想法吧

                               
登录/注册后可看大图

>>万能兑换C币许愿池<<

如果有收获，别忘了评分 ：

                               
登录/注册后可看大图

                               
登录/注册后可看大图

                                                                    

luciayuan521

说的好阔怕呀，人类未来有没有被AI控制的风险呢？

不二如是

luciayuan521 发表于 2025-12-24 11:18
说的好阔怕呀，人类未来有没有被AI控制的风险呢？

有这个可能~但可能性不高