MoE 模型专家负载不均怎么排查:先分清训练还是推理,再逐层定位

2026-10-13 151

MoE 的专家负载不均出现在两个阶段,表现和根因都不一样。动手排查之前,先判断自己属于哪一种:

  • 训练或微调时:路由本身在退化。少数“热专家”接走了大部分 token,另一些专家几乎收不到输入,成了“死专家”。如果设置了容量上限(capacity factor),token 丢弃率还会跟着升高。根因通常在路由器和平衡损失上。
  • 多卡推理并开启专家并行(EP)时:模型权重已经固定,问题表现为各 GPU 的计算耗时不一样,算得快的卡要在 All-to-All 通信处等算得慢的卡,TTFT 和 TPOT 的尾部延迟明显拉长。根因多半在请求数据分布和专家在各卡上的摆放方式。

如果你做的是推理,但用的是张量并行而不是 EP,每个专家的权重会被切到所有卡上,专家之间冷热不均一般不会造成卡与卡互相等待。这种情况下吞吐上不去,先按多卡推理为什么吞吐没有翻倍里的思路排查并行方式和互联。

训练或微调:按四步查路由

第一步:逐层统计每个专家分到多少 token

这一步要拿到两组数:每个专家实际分到的 token 占比 f_i,以及路由器给它的平均概率 p_i。按层画成直方图或热力图,看是否有极端倾斜。单卡跑一个小批量前向就能完成。以 Hugging Face Transformers 中的 Mixtral 为例:

import torch

@torch.no_grad()
def expert_load(model, batch, top_k=2):
    out = model(**batch, output_router_logits=True)
    mask = batch["attention_mask"].flatten().bool()  # 去掉 padding token
    report = []
    for layer, logits in enumerate(out.router_logits):
        logits = logits[mask]                        # [num_tokens, num_experts]
        chosen = logits.topk(top_k, dim=-1).indices.flatten()
        load = torch.bincount(chosen, minlength=logits.shape[-1]).float()
        report.append({
            "layer": layer,
            "max_over_mean": (load.max() / load.mean()).item(),
            "dead_experts": int((load == 0).sum()),
        })
    return report

读结果时看三点:

  • max/mean 比值:最忙的专家比平均水平多出多少。这个比值没有通用阈值,要拿同一模型训练前和训练后对比,或者把不同层放在一起对比。
  • 死专家数量:某层有专家完全收不到 token,说明那一层的路由已经塌缩。
  • 变化趋势:用领域数据微调时,出现一定程度的专家分化是正常的。真正需要处理的是随训练步数持续恶化的倾斜。

逐层专家 token 分配热力图,标出热专家和死专家

第二步:确认平衡损失真的起了作用

辅助负载均衡损失(auxiliary balancing loss)是压制路由偏向的主要手段。它的曲线应该存在、不为零,并且在倾斜加剧时有所响应。如果曲线正常但倾斜照样恶化,可能是损失权重设得太低,压不住偏向。

微调时常见的几个坑:

  • 损失根本没加进来:在 Transformers 的 Mixtral 实现中,只有打开 output_router_logits 时,辅助损失才会按 router_aux_loss_coef 加到总损失里。很多微调脚本默认没打开这个选项。不同版本的实现可能有差异,以你所用版本的源码为准。
  • 路由器被冻结了:用 LoRA 微调时,如果目标模块里没有门控层,路由器权重根本不会更新,辅助损失也就无从生效。这种情况下看到的不均,来自你的数据和原始路由的组合。
  • 用的是无辅助损失方案:DeepSeek-V3 这类 auxiliary-loss-free 策略不靠损失项来做均衡,而是按负载动态调整每个专家的偏置(bias),这个调整不经过梯度。它的效果在损失曲线上看不出来,要直接确认偏置更新已经开启,并监控各专家偏置值的变化。

第三步:看 Router logits 有没有数值发散

如果门控层输出的 logits 越来越大,softmax 会变得非常尖锐,路由会接近“每个 token 只认一个专家”。建议额外记录两样东西:

  • 每层 router logits 的最大绝对值;
  • Router Z-Loss,即 logits 先做 logsumexp 再平方后的均值。

如果这两项和负载倾斜同步上升,问题更可能出在门控层的数值稳定性上。可以加入 z-loss 或对门控 logits 做归一化,再观察倾斜是否缓解。

第四步:检查平衡损失的统计范围和容量设置

  • 统计范围:Megatron-Core 早期实现等框架可能只在单卡或局部批次内统计平衡损失。如果每个批次只来自同一个领域,强行在批次内做均衡,反而会抑制专家的自然分化。Qwen 团队提出的做法是在全局批次上统计平衡。这种情况下,不要一味调大损失权重,先确认统计口径。
  • 容量与丢弃:设置了 capacity factor 时,token 丢弃率要单独监控。丢弃率高意味着有 token 直接跳过了专家计算,会影响效果。可以提高容量因子(代价是显存占用增加),也可以换成 MegaBlocks 这类基于 block-sparse 算子的无丢弃(dropless)MoE。

多卡推理(EP):先找出拖后腿的那张卡

用 Profiler 分清“算得慢”还是“传得慢”

在 vLLM、SGLang 上做 EP 部署时,按 rank 抓取每张卡的专家计算 kernel 耗时,以及 dispatch/combine(也就是 All-to-All)的等待时间。

  • 某一张卡的专家计算明显偏长,其他卡的 All-to-All 等待也随之变长:这是典型的负载不均木桶效应。
  • 所有卡的计算耗时都差不多,但通信普遍偏长:问题更可能在卡间互联或并行配置上,不是专家冷热造成的。可以参考张量并行和流水并行怎么选,重新评估并行方式。

专家并行推理中一张卡计算过长、其他卡在 All-to-All 处等待的时间线示意

用真实流量统计专家命中

用随机 prompt 压测时,专家分布往往看起来很均匀,到了线上才暴露倾斜。建议抽样真实请求,按层统计各专家 ID 的命中次数,重点看两类流量:多模态请求中的 vision token,以及垂直领域的指令。它们容易集中命中少数几个固定专家。确认了热点专家的 ID 之后,再查这些专家被放在了哪张卡上。如果几个热点恰好挨在一起,被分到同一个 rank,那张卡就会成为瓶颈。

处理办法:重映射或复制热点专家

vLLM 提供 Expert Parallel Load Balancer(EPLB),可以根据运行时的负载统计重新安排专家在各卡上的位置,也可以把热点专家冗余复制到多张卡上分流。需要注意两点:冗余副本会占用额外显存,重排本身也有开销。参数名称在不同版本之间有变化,开启前以你所用版本的 vLLM 文档为准。

在租用的 GPU 上排查时注意什么

  • 按问题类型决定租几张卡:训练侧的路由统计(上面第一到第三步)用单卡跑小批量前向就能完成,不必一开始就租多卡。EP 推理的尾延迟问题必须在真正的多卡节点上才能复现,而且卡间互联方式会直接影响 All-to-All 的耗时,选节点时要把互联考虑进去。
  • 环境直接用现成镜像:在 NexGPU 上可以从镜像模板里选 vLLM 或 PyTorch 镜像一键部署,省去自己配环境的时间,直接开始跑 Profiler 和统计脚本。
  • 结果要先存好再销毁:Profiler trace 和每层路由统计都写到持久存储里。停机后算力费停了,但存储费照常收;实例销毁后所有费用停止,数据也随之删除。所以销毁前先把结果下载下来。

如果问题只能在多机 EP 下复现,需要评估多节点或集群资源,可以联系 NexGPU 销售沟通多卡方案。

相关文章

Qwen部署选哪个版本和框架?2026 Qwen3.8/3.6 实战选型、启动命令与避坑指南
从 Prototype 到 Production:当你的大模型业务遭遇“高并发”瓶颈,vLLM 部署如何精准破局?
2026年底AI算力租赁新变局:在交付延期与「Token刺客」夹击下,企业如何打赢ROI保卫战?
2026多模态视觉、OCR与AI Agent部署指南:GPU租用如何避开硬件老化与算力错配?