Qwen2.5-72B多卡量化部署教程：4步完成

Qwen2.5-72B多卡量化部署教程可以压缩成四步：按卡型倒推量化档位 → 定 tensor parallel size → 写启动参数 → 用自建对照集验证。开源主力模型在企业端加速落地，显存分账成为部署核心矛盾。动手前先打开终端执行 nvidia-smi，记下卡数、单卡显存与卡间互联方式。FP16 精度下 72B 权重加运行时开销大约需要 140GB+ 显存，通常要双卡 80GB（如 A100/H100）配合 TP=2 才装得下；而改用 AWQ-INT4 或 FP8 量化后，整体占用可降到 40GB–48GB，这让双卡 24GB/32GB 或单卡 80GB 成为可行起点。

开始前的自查：你手上的卡决定了能选哪一档

开始前先回答三个问题：几张卡？单卡多少显存？卡间是否同型号、同 PCIe/NVLink 互联？

双卡 24GB（合计 48GB）：只能跑量化档，且必须 TP=2。
双卡 32GB（合计 64GB）：量化档下余量较宽裕。
单卡 80GB（如 A100/H100）：量化档可跑 TP=1；若坚持 FP16 则仍不够。

卡型不一致会导致 TP 切分失效，vLLM 启动时直接报错。

显存对照表：量化档位与卡型的匹配

下表是量化档位、显存量级与适配卡型的对应关系，数字用于选型推算，不是任何具体卡上的实测峰值，请以你本地实际复测为准。量级数字只在表中出现一次，之后不再重复。

量化档位	显存量级（权重+运行）	适配卡型	TP 建议
FP16	约 140GB+	双卡 80GB（A100/H100）	TP=2
AWQ-INT4 或 FP8	约 40–48GB	双卡 24GB/32GB，或单卡 80GB	双卡必须 TP=2；单卡可 TP=1

更细的选型核算可参考 GPU显存怎么选。

第一步：选量化格式——AWQ-INT4 与 FP8 的取舍逻辑

量化格式没有绝对优劣，按四个判据选：

显存余量：INT4 通常压得更狠，给 KV Cache 留出的空间更大；FP8 精度保留更好，但占用略高。
硬件支持：FP8 依赖 GPU 与推理引擎两端的低精度支持，同代卡在不同引擎上的可用性差异较大，以本地引擎的 help 输出与一次最小启动试跑确认，不要按架构名推断。
权重现成性：社区是否已有对应格式的量化权重？用现成的省去自行量化时间，但必须确认格式与引擎匹配。
任务敏感度：代码生成、数学推理等对精度敏感的任务，建议先试 FP8；普通对话可用 INT4。

两条回退路线：若量化后质量不达标，先换回 FP8 或混合精度；若显存不足，再降并发或序列长度。

第二步：定 TP 切分——量化后能不能把 tensor parallel size 从 2 降回 1

TP 设置有两个硬性规则：必须等于实际可见卡数，且必须能整除注意力头数（例如 72B 模型头数通常为 64，因此 TP 可取 1、2、4、8、16）。

单卡 80GB 量化后占用 40–48GB，可尝试 TP=1，省去卡间通信开销，提升小 batch 下的响应速度。
双卡 24/32GB 必须 TP=2，且两卡必须同型号、同互联，否则性能下降甚至报错。
长上下文（如 32K tokens）或高并发时，KV Cache 可能顶爆单卡，此时即便单卡 80GB 也可能被迫升 TP=2。

判断依据是：先估算峰值 KV Cache 大小（随序列长度 × 并发数线性增长），加上权重占用，不超过单卡显存的 90% 才可考虑 TP=1。更完整的配置可参考 vLLM多卡张量并行配置指南。

第三步：写启动参数——显存利用率、最大序列长度与 KV Cache 的调整次序

Qwen2.5-72B多卡量化部署教程里最容易反复返工的就是这一步。启动参数不是一次性写对的，要按顺序调整：

固定模型路径与量化格式（如 --quantization awq 或 --quantization fp8）。
设 TP：--tensor-parallel-size 2。
设显存利用率上限：例如 --gpu-memory-utilization 0.9，先留 10% 余量。
压最大序列长度与并发数：--max-model-len 和 --max-num-seqs，先给保守值（如 4096 context、4 并发），逐步上调。

这几个参数互相挤占同一块显存，一次只改一个，改完重启验证。具体参数名以你本地 vLLM 的 --help 输出为准，不同版本可能有差异。

第四步：验证——自建对照集看输出退化，同请求分布看吞吐

量化后不能假设能力与 FP16 无差异，必须自建对照集验证。

准备 30–50 条提示词，覆盖你真实业务场景（如代码、摘要、客服问答）。
跑两轮：量化版一轮，FP16 版（或用在线基准模型）一轮，参数一致。
人工 + 规则比对：看关键字段、语法、逻辑是否退化。
测吞吐：用相同的请求分布压测，记录吞吐、TTFT、显存峰值。

若退化明显，需换量化格式或调整参数。

别把省下的显存全给上下文：KV Cache 与引擎常驻要留余量

量化省下的显存不是白得的。权重占用被压下来之后，KV Cache 随并发与序列长度线性膨胀，引擎与激活还有常驻开销。建议先按较短上下文和低并发起步，逐步上调，直到接近显存上限前停手，至少留 10% 余量。若遇到显存不足，具体排查步骤见文末常见问题。

双GPU服务器与显存监控

不量化直接租大显存卡值不值：把时租换算成每百万 Token 成本

2026 年 8 月的价格监测显示，NVIDIA B200（192GB HBM3e）按量时租中位数约 $5.91–$7.15/GPU-小时，最低可至 $3.75/hr；B300（288GB HBM3e）起步价约 $7.50–$7.70/GPU-小时。大显存卡的价值在于少切卡、拓扑简化，但比较口径应从每小时价格转为每百万 Token 成本。

换算公式：每百万 Token 成本 = 时租 ÷ 3600 ÷ 实测吞吐(tokens/s) × 1,000,000。代入你自己压测得到的吞吐值，本文不提供 Qwen2.5-72B 在任何卡型上的实测吞吐。

无论选双卡量化还是单卡大显存，这套公式都要用同一批压测数据；在 NexGPU 这类按量计费的 GPU 云上跑两组配置再比较，比纸面推算更接近真实成本。

用按量资源做一次量化前后对照实测：该记录哪些指标

量化档位与 TP 组合的真实显存峰值，只有在具体卡型上试跑才能确认。NexGPU 提供多种 GPU 服务器型号选择、按量使用与预制模型/应用模板，可先用双卡 24/32GB 跑量化版，验证可行性与输出质量，再决定是否切到 80GB 卡跑 FP16。

必须记录的指标清单：

指标	说明
显存峰值	满载峰值
可支撑并发	最大并发
最大序列长度	最大 context
对照集通过率	业务通过比例
单位 Token 成本	时租÷吞吐折算

部署检查清单与四个常见踩坑

把这份 Qwen2.5-72B多卡量化部署教程的检查清单过一遍再上线：卡型一致、权重格式匹配、TP 整除、留 10% 余量。四个常见踩坑快速解法如下：

双卡 4090 能不能跑？ 能，但必须量化且 TP=2，显存余量小，先降并发。
AWQ 和 FP8 选哪个？ 精度优先选 FP8，显存优先选 AWQ-INT4。
TP 设多少？ 按卡数定，单卡 80GB 可 TP=1，双卡必须 TP=2。
启动报显存不足？ 先降并发和序列长度。

更多多卡推理技巧见多卡推理优化。

常见问题

Qwen2.5-72B 双卡4090能跑吗

能，但必须量化（AWQ-INT4 或 FP8），且 TP=2。双卡 24GB 合计 48GB，量化后权重加运行占用约 40–48GB，余量很小，建议将最大序列长度限制在 8K 以内、并发数设为 4 左右，并预留 10% 显存。

Qwen2.5-72B AWQ和FP8选哪个

看显存余量与硬件支持。AWQ-INT4 更省显存，适合双卡 24GB 或追求更高并发；FP8 精度保留更好，适合对输出质量敏感的任务，但需以本地引擎的 help 输出和最小启动试跑确认。建议先用 AWQ 试跑，质量不达标再换 FP8。

Qwen2.5-72B tensor parallel size设多少

必须等于实际卡数，且能整除注意力头数。双卡就设 TP=2，单卡 80GB 可设 TP=1。若显存不足，优先降并发或序列长度，不要强行减小 TP。

72B模型INT4量化后需要多少显存

约 40–48GB 是权重加运行的量级参考。实际峰值还取决于上下文长度、并发数和引擎常驻开销，务必在目标卡上实测确认。

Qwen2.5-72B 量化后回答质量会下降吗

量化会引入一定精度损失，具体程度取决于任务类型。必须自建 30–50 条业务提示词，对比量化前后输出与吞吐，以通过率判断是否可接受。

vllm启动Qwen2.5-72B报显存不足怎么办

按顺序排查：先降低最大并发数与最大序列长度，再降低显存利用率上限，最后考虑换更激进的量化格式（如从 FP8 换 AWQ-INT4）或加卡。