跳到正文
11月9日周一
  1. Hugging Face Blog41

    Hugging Face 提出 HOPE:MoE 模型的专家高阶剪枝方法

    Hugging Face 博客介绍 HOPE(Higher-Order Pruning of Experts),一种考虑专家两两交互的二阶 MoE 剪枝方法,替代按独立重要性打分的一阶方法。在 50% 剪枝率下,HOPE 平均排名优于所有方法,在智能体编程任务上相比次优方法最高提升 +6.1%。该方法无需训练,可与量化组合使用,用于缓解专家 MLP 占用的推理内存。

11月6日周五