深链DEEPCHAIN · TRENDS采集中 · 下一批 02:47:49EN

AI  /  动态  /  Hugging Face

HOPE 剪枝法:给 MoE 模型专家做减法,还保住协作关系

研究Hugging Face 官方··中文整理 11-12·约 630 字,读完 2 分钟

一句话

Hugging Face 提出 HOPE 专家剪枝法,把专家间协作关系算进打分,让 MoE 模型剪一半参数后性能仍接近原模型。

要点

  1. 专家闲置

    MoE 模型每次只用少数专家,但所有专家都要占显存,剪掉用不上的专家是最直接的省显存办法。

  2. 算协作关系

    HOPE 计算专家两两间的协作强度,剪枝时不只看单个专家打分,还要保住经常配合的专家组合,不随意拆散。

  3. 剪半不掉分

    Qwen3.5-35B 剪掉 50% 专家后,HOPE 在 SWE-Bench Pro 得 42.3 分,接近未剪枝的 41.8 分,优于 REAP 的 36.2 分。

登录看全文「原文讲了什么」和「我们的看法」登录后可看,免费。原文链接也在里面。
觉得有用?