张量并行和流水线并行怎么选:按显存、卡间连接和并发三步判断

模型拆到多张卡上时,选张量并行(TP)还是流水线并行(PP),主要看两件事:模型能不能在一张卡上装下,以及卡与卡之间用什么连接。先给结论:一张卡装得下就不要拆。判断标准是权重加上下文 KV Cache 之后,显存还剩 20%–30% 余量。需要扛更多并发时,开多个单卡实例做数据并行,不必引入任何模型拆分的开销。单机多卡、卡间有 NVLink:优先用 T...

SGLang 新版本 DCP 与前缀缓存落地后,GPU集群怎么规划:节点数、拓扑与显存账

SGLang 在 2026 年 7 月底的官方 Release 中,提供了对 Kimi K3 2.8T LatentMoE 模型与 MiniMax-H3 音视频模型的 Day-0 原生推理支持,并引入了 DCP(Decode Context Parallelism)、DSpark 投机解码、KDA-aware 前缀缓存与 FlashInfer 优化,且...