一句话
Hugging Face 提出 HOPE 专家剪枝法,把专家间协作关系算进打分,让 MoE 模型剪一半参数后性能仍接近原模型。
要点
- 专家闲置
MoE 模型每次只用少数专家,但所有专家都要占显存,剪掉用不上的专家是最直接的省显存办法。
- 算协作关系
HOPE 计算专家两两间的协作强度,剪枝时不只看单个专家打分,还要保住经常配合的专家组合,不随意拆散。
- 剪半不掉分
Qwen3.5-35B 剪掉 50% 专家后,HOPE 在 SWE-Bench Pro 得 42.3 分,接近未剪枝的 41.8 分,优于 REAP 的 36.2 分。
登录看全文「原文讲了什么」和「我们的看法」登录后可看,免费。原文链接也在里面。
觉得有用?