NexGPU-算力租赁,GPU服务器,GPU云算力,AI服务器租用-新闻博客 - Qwen
type: channel
link: https://nexgpu.net/blog/index.php/tag/wen/
items: Qwen部署要多少显存？72B/32B 双卡分账指南

Qwen部署要多少显存？72B/32B 双卡分账指南
type: item
date: 2026-08-15T10:52:15+08:00
description: Qwen部署要多少显存？结论先给：Qwen 2.5 72B 在 FP16 下仅权重就约 144GB~146GB，需双卡 80GB（TP=2）；INT4 量化后约 38GB~40GB，可落到单卡 80GB/96GB 或双卡 32GB；32B FP16 权重约 63.5GB~64GB，需 80GB 级单卡或双卡，INT4 约 18GB。2026 年私有化部署选型时，AI 开发者与算法工程师最常卡在“显存看着够，实际跑不动”的环节。原因很简单：显存由权重、KV Cache、激活张量与引擎预留四笔账共同构成，只看权重数字极易误判。动手前先回答三个问题，否则显存数字没有意义：模型档位：72B 还是 32B？两者权重差距近一倍，直接影响卡型选择。上下文长度：Qwen 2.5 原生支持 128K（131,072 tokens），但上下文越长，KV Cache 占用越大，必须提前限定。并发规模：同时处理的请求数越多，KV Cache 总量越大，显存需求会成倍放大。脱离后两者谈显存，等于只算了一半账。第一笔账：权重占用，从 FP16 到 INT4 的换算表权重是显存的大头，也是最容易查到的基准。下表给出 Qwen 2.5 32B 与 72B 在 FP16、FP8、INT4 下的权重占用区间，以及对应的显存缺口判断。模型FP16/BF16FP8INT4（AWQ）能否进单卡 80GBQwen 2.5 32B约 63.5~64GB约 32GB约 18GB80GB 可行（FP16 勉强，量化更稳）Qwen 2.5 72B约 144~146GB未提供约 38~40GB单卡不可行（FP16），INT4 可单卡 80GB/96GB换算规律很简单：FP16 每 10 亿参数约占 2GB，FP8 减半，INT4 再减半（约 0.5GB/10 亿参数）。该换算为通用经验值，用于粗估，最终以实际加载后的显存读数为准。但注意，32B FP16 需要约 64GB，单张 24GB 或 32GB 消费卡绝对装不下；而 72B FP16 高达约 145GB，单张 80GB 也无法直接加载，需要双卡 80GB 并行，这正是后文 TP=2 的由来。若采用 INT4 量化，72B 可压缩到约 38~40GB，32B 仅约 18GB，单卡 24GB（如 RTX 4090）才有可能跑。第二笔账：KV Cache 为什么是上下文与并发的乘法如果说权重是固定支出，KV Cache 就是随上下文长度线性增长、再与并发数相乘放大的浮动支出。Qwen 2.5 原生支持 128K 上下文，但请记住一个数字：单请求在 128K 长度下的 KV Cache 即可超过 40GB。这意味着什么？假设你部署 32B INT4（权重约 18GB），单卡 24GB 只余 6GB 给 KV Cache，连 8K~16K 上下文都撑不住。并发数对显存的影响是乘法关系：N 个并发请求，KV Cache 总量约为单个请求的 N 倍。如果你设定了 32K 上下文且并发 8，KV Cache 就可能超过 80GB，直接顶爆双卡 80GB 的剩余空间。按单请求超 40GB 线性外推，并发 4 时估算需 160GB 以上（该数字为按线性关系推算的估算值，实际随模型 GQA 配置与量化方式浮动，需实测确认）。这就是为什么很多团队在长文本和并发上来后频繁触发 CUDA out of memory——不是权重问题，而是 KV Cache 这笔浮动账没算清。第三、四笔账：激活张量与引擎常驻，为什么要留 30%-50% 余量除了权重和 KV Cache，vLLM 运行时还会占用显存用于激活张量和引擎常驻开销（CUDA context、内存池等）。可用 KV Cache = 总显存 × 利用率 - 权重 - 常驻开销，因此生产部署建议预留 30%-50% 余量，不要卡着权重极限去算。同时注意，vLLM 默认按显存利用率预分配显存，即便权重只在 38GB，剩余空间不足时，上下文或并发上升同样会触发 OOM。为什么双卡 80GB（TP=2）是 72B 的生产基准形态把四笔账合起来看，72B FP16 权重约 145GB，双卡 A100/H100 80GB 合计 160GB，减去权重后还剩约 15GB 给 KV Cache 和激活。在限制上下文（如 8K）和低并发（如 4）下勉强能跑，但若要支持较长上下文或更高并发，就需要进一步量化或者扩充到 4 卡。这也解释了为什么 --tensor-parallel-size 2 是 72B Qwen部署的默认起点：单卡 80GB 物理上无法加载，双卡正好把权重分到两张卡上，显存利用率最高。对于 32B FP16（约 64GB），双卡 80GB 或单卡 80GB/96GB 都可行，但双卡 TP=2 能提供更…