Skip to content
🔗 分享本题
查看我的学习进度 →

推理框架专题第5题核心机制与工程取舍图解

🧠 图解记忆: 连续批处理不等整批结束,请求完成即退场,新请求随时补位,让 GPU 少空闲。

💡 答案要点

连续批处理 vs 传统批处理:

传统批处理:等所有请求同时开始,同时结束
请求A: [AAAA][BBBB][CCCC][DDDD] → 需要等
请求B: [EEEE][FFFF]               → 必须等
请求C: [GGGG][HHHH][IIII][JJJJ] → 憋住

连续批处理:新请求随时加入,完成即退出
时间t1: [请求A][请求B][请求C] → 一起跑
时间t2: [请求A][请求B][新请求D] → A走了,D加入
时间t3: [请求D][新请求E][新请求F] → B走了
→ GPU利用率大幅提升

性能影响:

  • 避免一个批次被最长请求整体拖住,并让空出的执行槽及时接收新请求
  • 收益随请求到达率、输入/输出长度分布、调度策略和硬件变化;应同时观察吞吐与尾延迟

📚 参考:vLLM 论文(continuous batching 实现)