Skip to content
🔗 分享本题
查看我的学习进度 →

推理框架专题第7题核心机制与工程取舍图解

🧠 图解记忆: 性能数字离不开测试条件;先对齐工作负载,再同时看吞吐、尾延迟和成本。

💡 答案要点

不能脱离条件给固定排行榜。至少要对齐:

维度必须固定或记录的条件
模型权重版本、参数量、上下文配置、量化/精度
硬件GPU 型号与数量、互联、驱动和 CUDA 版本
流量输入/输出长度分布、并发、到达率、共享前缀比例
指标TTFT、TPOT/ITL、端到端 P50/P95/P99、输入/输出吞吐、显存峰值
约束相同质量、相同 SLO、相同预热和压测时长

面试话术:

"我不会背一张脱离版本和负载的吞吐表。正确比较方式是固定模型、精度、硬件和流量回放,在同一 SLO 下测 TTFT、TPOT、吞吐、尾延迟与显存。共享前缀多时应单独评估缓存命中率;结论只对这组实验条件负责。"