跑推理时你有没有碰到过这种事：模型权重明明塞得下，一开长上下文或多并发就OOM，或者token生成速度死活上不去？别急着加卡。现在越来越多一线反馈指向同一个点——推理尤其是decode阶段，真正卡脖子的不是FLOPS，而是显存容量和带宽。训练时GPU几乎满负荷算梯度，算力是主角。推理反过来。生成一个token，整模型权重得从HBM搬进计算单元，GPU核...
0 条留言
NexGPU-算力租赁,GPU服务器,GPU云算力,AI服务器租用-新闻博客
