🧠 图解记忆： vLLM 重通用吞吐，SGLang 重前缀与生成程序，TensorRT-LLM 重 NVIDIA 极致优化。
💡 答案要点
三大框架定位对比：
| 框架 | 开发团队 | 核心定位 | 设计理念 |
|---|---|---|---|
| vLLM | UC Berkeley Sky Computing Lab | 高性能通用推理引擎 | PagedAttention + 高吞吐量 + 易用性 |
| SGLang | UC Berkeley LMSYS.org | 结构化生成 + 复杂推理 | RadixAttention + 前缀复用 + 编程灵活性 |
| TensorRT-LLM | NVIDIA | 极致性能生产部署 | 硬件深度优化 + 极致低延迟 |
一句话总结：
- vLLM = 均衡通用，适合大多数场景
- SGLang = 强调前缀复用、结构化生成与复杂生成程序
- TensorRT-LLM = 面向 NVIDIA GPU 的深度优化方案
选型时不要只背框架排名：
- 先固定模型、精度、硬件、输入/输出长度分布和并发模型
- 再比较 TTFT、TPOT/ITL、吞吐、显存、稳定性与运维复杂度
- 框架版本迭代很快，功能矩阵和性能结论应以目标版本文档及自测为准
面试话术：
"我会先按业务负载选候选框架：通用 OpenAI 兼容服务可先验证 vLLM，前缀复用和复杂生成程序重点验证 SGLang，NVIDIA 平台上的深度优化重点验证 TensorRT-LLM。最终不凭宣传数字下结论，而是在同一模型、精度和流量回放下比较延迟、吞吐、显存与运维成本。"
📚 参考：vLLM 官方文档 · SGLang 官方文档 · NVIDIA TensorRT-LLM 官方文档