AI教父「Hinton」2024.05最新访谈：我已经无法跟上AI发展了
在线学习：
https://www.bilibili.com/video/BV1mz421Y7zz
杰弗里·埃弗里斯特·辛顿，FRS，英国出生的加拿大计算机学家和心理学家，多伦多大学教授。
以其在类神经网络方面的贡献闻名。
辛顿是反向传播算法和对比散度算法的发明人之一，也是深度学习的积极推动者，被誉为“深度学习之父”。
辛顿因在深度学习方面的贡献与约书亚·本希奥和杨立昆一同被授予了2018年的图灵奖。
在最近的一次深度访谈中，AI教父Geoffrey Hinton分享了他在人工智能研究、人才选拔及与合作伙伴共事方面的独到见解。
与其他访谈不同，这次讨论不仅涉及大模型的应用，还探讨了大脑和人工智能的本质。
直觉与人才选拔
Hinton强调，直觉在选拔人才时至关重要。他提到学生Ilya Sutskever的直觉和理解力给他留下了深刻印象。
此外，他回忆了在卡内基梅隆大学的经历，那里学生们对未来充满信心。
大脑与人工智能
Hinton探讨了他从生理学到哲学，再到人工智能的研究历程，寻找大脑工作原理的答案。
通过与重要合作伙伴的合作，他在玻尔兹曼机、神经网络连接权重等研究方面取得了重要进展。
反向传播与合作
Hinton特别提到他与Ilya在研究反向传播算法时的合作，认为Ilya的直觉和解决问题的能力为AI和神经科学研究带来了突破。
规模与算法
Hinton认为，科技进步的关键在于规模和算法。
他提到Ilya关于系统规模的观点，认为数据和计算规模是决定性因素，并回顾了与Ilya和James Martins在2011年的一篇重要论文。
模型工作原理
Hinton解释了大型语言模型的工作原理，通过类比GPT-4回答问题的方式。
展示了模型通过理解不同事物间的类比进行创新的能力。
多模态学习
Hinton认为，引入图像、视频和声音等多种模式，将极大提升模型的理解和推理能力，尤其在空间理解方面。
Hinton提出了三种观点：符号观点、向量观点和嵌入观点，认为最合理的模型是将符号转换成大向量，并保留符号的表面结构。
Hinton回顾了他在2009年提出使用GPU进行神经网络训练的直觉，强调了这种技术对机器学习研究的重要性。
Hinton探讨了模拟计算在低功率下运行大型语言模型的可能性，并指出数字系统通过共享权重来提高效率。
神经科学与快速权重
Hinton指出，大脑使用快速权重进行临时记忆，而我们的模型由于需要处理大量不同情况，无法实现这一点。他认为我们将不得不拥有更多的时间尺度。
Hinton认为，AI助手将大大提高研究效率，并讨论了人才选拔的直觉。
他认为，**** Hidden Message ***** 感谢分享 感谢分享感谢分享
页:
[1]