Skip to content
🔗 分享本题
查看我的学习进度 →

Chunk 大小选择动漫知识图:过小丢上下文、过大稀释相关性,按文档结构切分并用任务评测集选择大小和重叠

记忆点:按文档结构切,再用任务评测集定大小;没有通用最佳字数。

💡 答案要点

Chunk 大小的权衡:

Chunk 大小优点缺点适用场景
小(256-512)检索精确语义不完整技术文档、代码
中(512-1000)平衡平衡通用文档
大(1000-2000)语义完整检索不精确对话数据、文章

经验值:

  • 通用文档:500-1000 tokens
  • 技术文档:256-512 tokens
  • 对话数据:1024-2048 tokens
  • 重叠:chunk_size 的 10-20%

进阶策略:

  • 父子文档(Parent-Child):检索小 chunk,返回大文档
  • 重叠切分:相邻 chunk 重叠 10-20%
  • 语义切分:用 embedding 聚类后切分

📚 参考:Anthropic:Introducing Contextual Retrieval(分块策略)