不二如是 发表于 2025-8-27 14:30:00

谷歌「首席科学家」三言两语：把AI『三个关键技术创新』机密讲清楚！向量空间+序...



谷歌「首席科学家」三言两语：把AI『三个关键技术创新』机密讲清楚：
（提示：序列到序列模型的缩写）

在线学习：

https://www.bilibili.com/video/BV1tWekziEuV

他提到，理解大模型的本质，绕不开三项技术突破。
       
第一个是用向量空间来表达词语的意义，对应 word2vec 技术。

过去我们处理文本，往往把词当成孤立的符号，现在则是让每个词在高维空间里占一个位置。

比如“New York City”不再是简单的字符串，而是一个向量，能反映它常见的语境和内在含义。
       
word2vec 就是这么来的，通过预测词的上下文，把词的关系学进向量里。

这样，模型不仅能理解词之间的距离，甚至能做运算：比如 king 减去 man 加上 woman，结果就是 queen。

这种空间里的方向，还能表达性别、时态等语义变化，比如从公牛到母牛、从国王到王后、从他到她，都是类似的方向变换。
       

第二个是序列到序列的模型，也就是 seq2seq，用的是 LSTM。

LSTM 有点像带记忆的状态机，每读一个词就更新一次记忆，把整句话的信息都压进一个向量。

等读完输入句子，再用这个状态去生成输出，比如英译法。

这个思路一下子把机器翻译、文本摘要、甚至基因序列建模都串起来了。

       
第三项是注意力机制，也就是 Transformer 的核心。

以前模型处理长文本，总要顺序来，信息容易丢。注意力机制的思路，是把所有中间状态都保留下来，让模型自动决定关注哪些信息。

虽然计算量上是平方级别，但效果非常好。

更重要的是，Transformer 可以并行处理大量文本，把一千个词同时摊开算，效率远超 LSTM，非常适合现代的矩阵算力。
       

这三项技术合起来，让大模型在理解、生成和推理上都迈上了一个新台阶。

很多我们今天觉得理所当然的能力，其实都是站在这些创新的肩膀上实现的。

评论区聊聊你的想法吧{:10_330:}

https://xxx.ilovefishc.com/forum/202505/12/120451wiv7viv5iebupbbr.png

>>万能兑换C币许愿池<<

如果有收获，别忘了评分{:10_281:} ：

https://xxx.ilovefishc.com/forum/202011/20/092334ggd6inlzfisfrdir.png.thumb.jpg
https://xxx.ilovefishc.com/forum/202505/21/111710rvxgdn90vaub5gag.gif                                                                  

快速收敛 发表于 2025-8-27 15:08:46

感谢分享！！跟着小甲鱼老师学习编程！AI时代不掉队{:13_428:}

鱼C论坛不愧是全国最大的「编程/AI/科技/新闻/娱乐」学习论坛！朕超喜欢这里{:13_438:}

Seq2Seq

sunshine_8205 发表于 2025-8-27 15:29:53

感谢分享！！跟着小甲鱼老师学习编程！AI时代不掉队{:13_428:}

鱼C论坛不愧是全国最大的「编程/AI/科技/新闻/娱乐」学习论坛！朕超喜欢这里{:13_438:}

不二如是 发表于 2025-8-27 15:31:07

sunshine_8205 发表于 2025-8-27 15:29
感谢分享！！跟着小甲鱼老师学习编程！AI时代不掉队

鱼C论坛不愧是全国最大的「编程/AI/科技/ ...

{:13_413:}{:13_413:}{:13_413:}

bohu 发表于 2025-8-27 20:38:18

有状态的向量

bohu 发表于 2025-8-27 20:41:28

感谢分享！！跟着小甲鱼老师学习编程！AI时代不掉队{:13_428:}

鱼C论坛不愧是全国最大的「编程/AI/科技/新闻/娱乐」学习论坛！朕超喜欢这里{:13_438:}

Seq2Seq

Clay_Chow 发表于 2025-8-28 06:06:23

感谢分享！！跟着小甲鱼老师学习编程！AI时代不掉队{:13_428:}
Seq2Seq

鱼C论坛不愧是全国最大的「编程/AI/科技/新闻/娱乐」学习论坛！朕超喜欢这里{:13_438:}

不二如是 发表于 2025-8-28 08:07:54

Clay_Chow 发表于 2025-8-28 06:06
感谢分享！！跟着小甲鱼老师学习编程！AI时代不掉队
Seq2Seq



{:13_413:}{:13_413:}{:13_413:}

尉尉的可乐 发表于 2025-8-28 08:28:58

感谢分享！！跟着小甲鱼老师学习编程！AI时代不掉队{:13_428:}

鱼C论坛不愧是全国最大的「编程/AI/科技/新闻/娱乐」学习论坛！朕超喜欢这里{:13_438:}
Seq2Seq

FC粉丝 发表于 2025-8-28 08:29:35

感谢分享！！跟着小甲鱼老师学习编程！AI时代不掉队{:13_428:}

鱼C论坛不愧是全国最大的「编程/AI/科技/新闻/娱乐」学习论坛！朕超喜欢这里{:13_438:}
Seq2Seq

不二如是 发表于 2025-8-28 08:29:48

FC粉丝 发表于 2025-8-28 08:29
感谢分享！！跟着小甲鱼老师学习编程！AI时代不掉队

鱼C论坛不愧是全国最大的「编程/AI/科技/ ...

{:13_413:}{:13_413:}{:13_413:}

不二如是 发表于 2025-9-22 10:04:12

感谢分享！！跟着小甲鱼老师学习编程！AI时代不掉队{:13_428:}

鱼C论坛不愧是全国最大的「编程/AI/科技/新闻/娱乐」学习论坛！朕超喜欢这里{:13_438:}
页: [1]
查看完整版本: 谷歌「首席科学家」三言两语：把AI『三个关键技术创新』机密讲清楚！向量空间+序...