🧠 图解记忆: 性能数字不是框架属性,而是框架、硬件、模型和工作负载共同产生的实验结果。
💡 答案要点
框架性能取决于模型、精度、GPU、并行策略、输入/输出长度、并发、调度参数和质量约束。不同报告中的 tok/s 可能分别指请求吞吐、输出吞吐或所有 GPU 的聚合吞吐,不能横向比较。
面试中看到一张横评表,应先追问:
- 是否使用同一模型权重、量化精度和 GPU;
- 输入/输出长度分布是否相同,是否包含长尾请求;
- 报告的是 TTFT、TPOT、ITL、P50/P95/P99 中哪一个;
- 是否在相同并发和相同显存余量下比较;
- 是否启用 Prefix Cache、Chunked Prefill、Speculative Decoding;
- 是否发生 OOM、请求丢弃、超时或质量回退。
因此,版本号和一组孤立数字不构成选型证据。
