Skip to content
🔗 分享本题
查看我的学习进度 →

推理框架专题第19题核心机制与工程取舍图解

🧠 图解记忆: 性能数字不是框架属性,而是框架、硬件、模型和工作负载共同产生的实验结果。

💡 答案要点

框架性能取决于模型、精度、GPU、并行策略、输入/输出长度、并发、调度参数和质量约束。不同报告中的 tok/s 可能分别指请求吞吐、输出吞吐或所有 GPU 的聚合吞吐,不能横向比较。

面试中看到一张横评表,应先追问:

  • 是否使用同一模型权重、量化精度和 GPU;
  • 输入/输出长度分布是否相同,是否包含长尾请求;
  • 报告的是 TTFT、TPOT、ITL、P50/P95/P99 中哪一个;
  • 是否在相同并发和相同显存余量下比较;
  • 是否启用 Prefix Cache、Chunked Prefill、Speculative Decoding;
  • 是否发生 OOM、请求丢弃、超时或质量回退。

因此,版本号和一组孤立数字不构成选型证据。

📚 参考:vLLM 官方 benchmarks(可复现的性能数据)