🧠 图解记忆: 连续批处理不等整批结束,请求完成即退场,新请求随时补位,让 GPU 少空闲。
💡 答案要点
连续批处理 vs 传统批处理:
传统批处理:等所有请求同时开始,同时结束
请求A: [AAAA][BBBB][CCCC][DDDD] → 需要等
请求B: [EEEE][FFFF] → 必须等
请求C: [GGGG][HHHH][IIII][JJJJ] → 憋住
连续批处理:新请求随时加入,完成即退出
时间t1: [请求A][请求B][请求C] → 一起跑
时间t2: [请求A][请求B][新请求D] → A走了,D加入
时间t3: [请求D][新请求E][新请求F] → B走了
→ GPU利用率大幅提升性能影响:
- 避免一个批次被最长请求整体拖住,并让空出的执行槽及时接收新请求
- 收益随请求到达率、输入/输出长度分布、调度策略和硬件变化;应同时观察吞吐与尾延迟
