Skip to content
🔗 分享本题
查看我的学习进度 →

企业知识库问答架构动漫知识图:数据接入、版本存储、分块索引、权限过滤、混合检索、重排、模型网关与引用评测协同工作

记忆点:知识、权限、检索、生成和评测必须一起设计。

💡 高分回答

1. 架构选型:RAG 是首选,Fine-tuning 是补充

"我会优先采用 Advanced RAG 架构而非微调。原因有三:

  1. 知识库需要频繁更新,RAG 只需更新向量库,而微调成本太高
  2. RAG 可以提供引用溯源,消除幻觉
  3. 微调无法处理海量非结构化文档的检索"

2. 数据清洗与切片

"切片不能简单按字符数。我会采用 Markdown 语义切片。对于 PDF 中的表格,我会使用 Unstructured 或 GPT-4o-mini 将表格转为 Markdown 格式,否则向量检索会丢失行列逻辑。"

进阶提分:

"我会给每个 Chunk 增加 Metadata(元数据),比如文件名、页码、所属部门。这样在检索时可以进行 Self-Querying(根据用户权限或范围过滤标签)。"

3. 检索优化

"单次向量检索往往不够。我会引入 Multi-Query Retrieval(将用户问题扩展成多个同义句)和 Hybrid Search(向量检索 + 关键词 BM25 检索)来提升召回率。"

进阶提分:

"我会加入 Rerank(重排序)环节。先从向量库召回 50 个候选片断,再用专门的 Reranker 模型(如 BGE-Reranker)精选出最相关的 Top-5。"

4. 评估与工程化

"我会建立一套 RAGAS 评估体系,重点监控四个维度:忠实度、相关度、上下文精度和召回率。"

进阶提分:

"为了降低 Token 成本和延迟,我会部署 Semantic Cache(语义缓存)。如果两个用户问了语义相似的问题,直接从 Redis 缓存中读取答案,无需再次调用大模型。"

📚 参考:Anthropic:Retrieval Augmented Generation(企业知识库实践)