一文讲清楚 Chunking 的工作原理

LAOLI9 · 发表于 2026-8-30 23:40:42

厉害呀，我以为 RAG 只有大厂才能做，原来自己也能搓一个。

超燃陀螺 · 发表于 2026-8-30 23:51:17

学习了

stacymeowmeow · 发表于 2026-8-31 01:14:01

哇，学到了~

李安昭 · 发表于 2026-8-31 01:56:59

切块要保留章节和上下文，并标注好，这样机器找起来才准确

寒时enjoy · 发表于 2026-8-31 07:00:51

学无止境

磊之茶 · 发表于 2026-8-31 07:07:07

不过感觉好像无论怎么切都不完美，眀明人去阅读的时候可以很自然的切分，怎么实现起来如此复杂

15257288806 · 发表于 2026-8-31 07:29:56

信息量有点大，脑瓜子嗡嗡的

kologg · 发表于 2026-8-31 08:11:58

学习了，但是感觉有难度

东风压倒一切 · 发表于 2026-8-31 08:30:09

先看在学习在应用最后再突破

LYBANDZBP · 发表于 2026-8-31 08:58:24

我感觉大脑好像进入了一些很神奇的东西

pszo · 发表于 2026-8-31 09:03:41

有一点点懵圈，下次再战

mobezone · 发表于 2026-8-31 09:07:48

保留章节和上下文，并给每个碎块标注好，这样机器搜起来才准

oPlusman · 发表于 2026-8-31 09:27:01

追更

whfigo · 发表于 2026-8-31 09:49:23

又学习新知识了

changkai09 · 发表于 2026-8-31 10:05:19

学习了

PZQ27 · 发表于 2026-8-31 11:23:59

满分通过。切分需要按需求来，跟写作文一样要保持一段数据的完整性，做到可读可用。随便切或者强制规则，就没有意义了呀

a308627301 · 发表于 2026-8-31 12:47:03

这也是个专业吗？现在这个事情是什么职业在干啊？感觉看着都要疯。

jinzhao666 · 发表于 2026-8-31 14:36:49

了解Chunking

捉刀人 · 发表于 2026-8-31 15:47:45

打卡越来越科学了，除了回复还有练习巩固。切分和词元的关系密不可分，这下知道token是怎么来的啦

忘川hd · 发表于 2026-8-31 18:21:30

好好学习

账号		自动登录	找回密码
密码			立即注册

[庖丁解牛] 一文讲清楚 Chunking 的工作原理