Skip to content
🔗 分享本题
查看我的学习进度 →

RAG 成本优化动漫知识图:量化向量化、检索、重排、输入和生成成本,在质量与 SLA 门槛内使用缓存、压缩、路由和批处理

记忆点:先量成本结构,再在质量门槛内优化。

💡 答案要点

成本优化策略:

  1. 语义缓存

    • 相同/相似问题直接返回缓存
    • 命中率可达 30-50%
  2. Prompt 压缩

    • 用 LLMLingua 压缩检索结果
    • 减少 40% Context Token
  3. 模型路由

    • 简单问题用小模型(便宜)
    • 复杂问题用大模型(贵但效果好)
  4. 优化检索

    • 减少 k 值(只返回最相关的 2-3 个)
    • 用 Rerank 提升精度,减少无效 token
  5. 批量处理

    • 多个请求合并成一个 LLM 调用
    • 适合离线任务