记忆点:按文档结构切,再用任务评测集定大小;没有通用最佳字数。
💡 答案要点
Chunk 大小的权衡:
| Chunk 大小 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| 小(256-512) | 检索精确 | 语义不完整 | 技术文档、代码 |
| 中(512-1000) | 平衡 | 平衡 | 通用文档 |
| 大(1000-2000) | 语义完整 | 检索不精确 | 对话数据、文章 |
经验值:
- 通用文档:500-1000 tokens
- 技术文档:256-512 tokens
- 对话数据:1024-2048 tokens
- 重叠:chunk_size 的 10-20%
进阶策略:
- 父子文档(Parent-Child):检索小 chunk,返回大文档
- 重叠切分:相邻 chunk 重叠 10-20%
- 语义切分:用 embedding 聚类后切分
