先说结论。48GB 显存单卡（RTX 6000 Ada、L40/L40S、A6000、A40 这一档）的能力边界如下。推理：最大能跑 70B 级模型的 4-bit 量化版，前提是单用户或小并发、上下文在 4K~8K 左右。想留出更多余量，可以选 32B/34B 的 8-bit 版，或 14B 的 FP16/BF16 原精度版。微调：极限是 70B 的 ...
0 条留言
NexGPU-算力租赁,GPU服务器,GPU云算力,AI服务器租用-新闻博客
