张量并行和流水并行怎么选:先看模型能否单卡装下,再看卡间互连

2026-10-10 561

多数情况可以按这条规则选:单台机器里的多张卡,并且卡之间有 NVLink 这类高速互连,就优先用张量并行(TP);模型大到一台机器装不下、需要跨机时,机内用 TP,机器之间用流水并行(PP)。 如果模型和 KV Cache 一张卡就能装下,先别切分模型。这种情况下用单卡,或者开几个独立副本,通常更省事。

下面说明这条规则的依据,以及几种需要另做判断的情况。

先回答三个问题

动手前先确认三件事:

  1. 显存够不够:模型权重加上 KV Cache,在你要用的精度(BF16、FP8、INT4 等)和上下文长度下,单卡能不能装下。不同模型的显存门槛差别很大,可以先查对应模型的选卡指南,也可以参考 48GB 显存能跑多大的模型。
  2. 卡之间怎么连:是 NVLink/NVSwitch,还是普通 PCIe;需要跨机时,节点之间走什么网络。在机器上执行 nvidia-smi topo -m 可以看到卡间连接方式。
  3. 任务追求什么:在线服务更看重首字延迟和出字速度;离线批量推理更看重总吞吐;训练和微调又是另一套思路,后文单独说。

三个问题有了答案,选择基本就定了。

两种并行的区别

张量并行在每层内切分权重并频繁同步,流水并行按层分段、只在阶段边界通信并存在空泡

张量并行是在层内切分。 Transformer 每一层里注意力的 QKV 矩阵和 MLP 的权重矩阵,会被拆到多张卡上同时计算。每张卡都参与每一层的计算,每一层算完都要做 All-Reduce 或 All-Gather 来同步结果。

流水并行是按层分段。 连续的层被划成若干阶段,例如第 1–16 层放在卡 0,第 17–32 层放在卡 1。卡与卡之间只在阶段交界处传递一次中间激活值,用的是点对点通信。

两者的取舍都从这个区别来:

张量并行(TP)流水并行(PP)
通信频率每层都同步,次数多只在阶段边界传递
对互连的要求带宽高、延迟低,通常需要 NVLink较低,可以跨节点网络
单请求延迟可以降低,多卡同时算一个 token会增加,请求要依次经过各阶段
主要短板互连慢时,通信开销会抵消计算收益存在流水线空泡,并发低时卡会空闲等待

推理:单机和多机分别怎么设

单机多卡

模型单卡放不下时,先在一台机器内用 TP。以 vLLM 为例:

vllm serve <模型名或路径> --tensor-parallel-size 4

tensor_parallel_size 通常设为 2、4 或 8,并且要能整除模型的注意力头数。整除不了,启动时就会报错。

用 TP 的好处是一个 token 的计算分给多张卡同时完成,首字延迟(TTFT)和每个 token 的生成时间(TPOT)都能下降,所以对延迟敏感的在线服务一般首选 TP。

单机 8 卡也装不下

超大模型、全精度或很长的上下文,可能 8 张卡也放不下。这时用混合并行:机内用 TP,数量等于单机卡数;机间用 PP,数量等于节点数。比如两台 8 卡机器:

vllm serve <模型名或路径> \
  --tensor-parallel-size 8 \
  --pipeline-parallel-size 2

这样安排,是因为通信量最大的 TP 留在机内高速互连上,跨机网络只承担 PP 那部分较少的传输。如果反过来让 TP 跨机,每一层的同步都要走网络,速度会明显变慢。

卡之间只有 PCIe

很多消费级卡和部分 PCIe 版本的数据中心卡没有 NVLink。在这种环境下把 TP 开得很大,层间同步的开销可能把多卡带来的收益抵消掉。可以这样处理:

  • 能用量化让模型装进更少的卡,就先减少卡数;
  • 确实需要多卡时,用 TP=2 和 PP=2 这类组合,在真实并发下各跑一遍,分别比较延迟和吞吐,不要直接按理论推算;
  • 如果多卡吞吐远不如预期,可以参考 多卡推理为什么吞吐没有翻倍 逐项排查。

用了 PP 之后吞吐不高

流水并行有一个固有问题:前一个阶段没算完,后一个阶段只能等,这段空闲叫流水线空泡。请求少的时候,大部分卡会处在等待状态。要提高吞吐,需要有足够的并发请求,或者用 micro-batching、chunked prefill 等方式把流水线填满。所以 PP 更适合高并发服务和离线批量推理,不适合只有一两个用户、又要求响应快的场景。如果你遇到的主要问题是延迟,可以先看 大模型推理延迟高怎么优化,区分是首字慢还是出字慢。

训练和微调:先不用急着切模型

训练时的选择顺序和推理不同:

  1. 显存够用时,先用数据并行和显存优化,例如 DDP、ZeRO 或 FSDP。它们不切分模型的计算,实现简单,扩展效率也比较好。
  2. 单层参数或激活值超过单卡容量时,在单机内加入 TP。
  3. 规模扩展到多机时,采用常说的 3D 并行:TP 限制在单机 8 卡以内,以利用 NVLink;节点之间用 PP 和 DP 组合,减少跨机通信带来的瓶颈。

对大多数 LoRA 或中小模型的全参微调来说,第一步就够用了。

快速对照

  • 单卡装得下:不切模型;需要更多吞吐时多开几个副本。
  • 单机装得下,并且有 NVLink:只用 TP。
  • 单机装得下,但只有 PCIe:尽量少用卡,并实测 TP 和 PP 两种组合。
  • 单机装不下:机内 TP + 机间 PP。
  • 训练或微调:先用 DP/ZeRO/FSDP,单层放不下再加 TP,多机用 3D 并行。

租卡前要确认的事

定好并行方案后,硬件要求也就明确了:用 TP 需要同一节点内有足够多的卡,并且最好有高速互连;用 PP 跨机需要多个节点之间网络可用。在 NexGPU 上,可以先到 价格与可租节点 页面筛选单节点卡数合适的机器,开机后先运行 nvidia-smi topo -m 确认互连方式,再决定 TP 设多少。如果对节点配置有疑问,可以通过 Telegram 中英双语客服确认。部署时可以直接用 vLLM 或 TGI 镜像模板,不用自己配环境。

费用上注意一点:试不同并行组合时,机器只是停机的话仍然会收存储费,销毁后才完全停止计费。测完的配置要及时销毁,需要保留的权重和测试结果先另外存好。

如果评估后确定需要跨节点的多机方案,或者需要长期使用固定规模的集群,可以 联系销售 沟通。联系前可以先按 企业 GPU 集群咨询需求清单 整理好模型规模、精度和并发目标,沟通会更快。

相关文章

Qwen部署选哪个版本和框架?2026 Qwen3.8/3.6 实战选型、启动命令与避坑指南
从小规模实验到大规模投产:为什么你的AI业务需要“弹性GPU集群”?
从 Prototype 到 Production:当你的大模型业务遭遇“高并发”瓶颈,vLLM 部署如何精准破局?
2026年底AI算力租赁新变局:在交付延期与「Token刺客」夹击下,企业如何打赢ROI保卫战?