推理并行度设成多少合适?先按显存取最小 TP,再看互联和业务目标

先说结论:推理并行度没有通用的“最佳值”,但有一个稳妥的定法:在显存够用的前提下,取最小的张量并行度(TP)。单卡放得下模型权重,还能给 KV Cache 留足空间:设 TP = 1。单卡放不下:取刚好够用的最小卡数,通常是 2、4 或 8,而且这个数必须能整除模型的注意力头数。需要承接更多并发:优先多开几个副本做数据并行,不要把单个实例的 TP 一直...

AI服务器自购托管还是租GPU?先测利用率,再算隐性成本

如果你的团队要承接训练、微调或推理任务,正在犹豫是“买服务器放机房托管”还是“直接租 GPU”,结论如下:负载还在变化、业务处于探索期、模型换代快:先租。租用没有启动成本,可以随用随停,也能按任务换卡。负载长期稳定、卡几乎一直满负荷运行、架构两三年内不会大改,而且团队有人能管机房和硬件:自购托管才可能更省。决定哪边划算的,不是某张卡的采购价或租用单价,...

竞价实例和预留 GPU 实例哪个更省钱?先看任务能不能中断,再算利用率

只看标价,竞价实例(Spot)通常最便宜,预留实例最稳。算综合成本时,结论取决于两件事:任务被打断后能不能接着跑,以及这张卡未来一年实际运行的时间占比有多高。能断点续跑、量大、不赶时间的离线任务,适合竞价实例。全天候满载、规格短期不会变的线上推理,适合预留实例。周期在几小时到几周之间的微调、原型验证和间歇性测试,用这两种都容易多花钱。选择无合约、按小时...