先回答：量化省的不是同一块显存，收益也不能简单相加要算清FP8与INT4量化对GPU显存的影响，第一步先把显存占用拆成四笔互不替代的账：权重占的固定空间、随并发与上下文线性增长的KV Cache、计算过程中的中间张量、以及推理引擎与CUDA上下文的常驻开销。权重量化压的是第一笔，FP8 KV Cache压的是第二笔，中间张量与常驻开销基本不随量化下降—...
0 条留言
NexGPU-算力租赁,GPU服务器,GPU云算力,AI服务器租用-新闻博客
