不二如是 发表于 2024-5-22 10:00:00

AI教父「Hinton」2024.05最新访谈:我已经无法跟上AI发展了



在线学习:

https://www.bilibili.com/video/BV1mz421Y7zz

杰弗里·埃弗里斯特·辛顿,FRS,英国出生的加拿大计算机学家和心理学家,多伦多大学教授。

以其在类神经网络方面的贡献闻名。

辛顿是反向传播算法和对比散度算法的发明人之一,也是深度学习的积极推动者,被誉为“深度学习之父”。

辛顿因在深度学习方面的贡献与约书亚·本希奥和杨立昆一同被授予了2018年的图灵奖。


在最近的一次深度访谈中,AI教父Geoffrey Hinton分享了他在人工智能研究、人才选拔及与合作伙伴共事方面的独到见解。

与其他访谈不同,这次讨论不仅涉及大模型的应用,还探讨了大脑和人工智能的本质。


直觉与人才选拔

Hinton强调,直觉在选拔人才时至关重要。他提到学生Ilya Sutskever的直觉和理解力给他留下了深刻印象。

此外,他回忆了在卡内基梅隆大学的经历,那里学生们对未来充满信心。


大脑与人工智能

Hinton探讨了他从生理学到哲学,再到人工智能的研究历程,寻找大脑工作原理的答案。

通过与重要合作伙伴的合作,他在玻尔兹曼机、神经网络连接权重等研究方面取得了重要进展。


反向传播与合作

Hinton特别提到他与Ilya在研究反向传播算法时的合作,认为Ilya的直觉和解决问题的能力为AI和神经科学研究带来了突破。


规模与算法

Hinton认为,科技进步的关键在于规模和算法。

他提到Ilya关于系统规模的观点,认为数据和计算规模是决定性因素,并回顾了与Ilya和James Martins在2011年的一篇重要论文。


模型工作原理

Hinton解释了大型语言模型的工作原理,通过类比GPT-4回答问题的方式。

展示了模型通过理解不同事物间的类比进行创新的能力。


多模态学习

Hinton认为,引入图像、视频和声音等多种模式,将极大提升模型的理解和推理能力,尤其在空间理解方面。

Hinton提出了三种观点:符号观点、向量观点和嵌入观点,认为最合理的模型是将符号转换成大向量,并保留符号的表面结构。

Hinton回顾了他在2009年提出使用GPU进行神经网络训练的直觉,强调了这种技术对机器学习研究的重要性。

Hinton探讨了模拟计算在低功率下运行大型语言模型的可能性,并指出数字系统通过共享权重来提高效率。


神经科学与快速权重

Hinton指出,大脑使用快速权重进行临时记忆,而我们的模型由于需要处理大量不同情况,无法实现这一点。他认为我们将不得不拥有更多的时间尺度。

Hinton认为,AI助手将大大提高研究效率,并讨论了人才选拔的直觉。

他认为,**** Hidden Message *****

不二如是 发表于 2024-5-31 10:06:53

感谢分享

不二如是 发表于 2024-5-31 10:06:57

感谢分享感谢分享
页: [1]
查看完整版本: AI教父「Hinton」2024.05最新访谈:我已经无法跟上AI发展了