🧠 图解记忆: 性能数字离不开测试条件;先对齐工作负载,再同时看吞吐、尾延迟和成本。
💡 答案要点
不能脱离条件给固定排行榜。至少要对齐:
| 维度 | 必须固定或记录的条件 |
|---|---|
| 模型 | 权重版本、参数量、上下文配置、量化/精度 |
| 硬件 | GPU 型号与数量、互联、驱动和 CUDA 版本 |
| 流量 | 输入/输出长度分布、并发、到达率、共享前缀比例 |
| 指标 | TTFT、TPOT/ITL、端到端 P50/P95/P99、输入/输出吞吐、显存峰值 |
| 约束 | 相同质量、相同 SLO、相同预热和压测时长 |
面试话术:
"我不会背一张脱离版本和负载的吞吐表。正确比较方式是固定模型、精度、硬件和流量回放,在同一 SLO 下测 TTFT、TPOT、吞吐、尾延迟与显存。共享前缀多时应单独评估缓存命中率;结论只对这组实验条件负责。"
