Hugging Face 提出 HOPE：MoE 模型的专家高阶剪枝方法

Hugging Face 博客介绍 HOPE（Higher-Order Pruning of Experts），一种考虑专家两两交互的二阶 MoE 剪枝方法，替代按独立重要性打分的一阶方法。在 50% 剪枝率下，HOPE 平均排名优于所有方法，在智能体编程任务上相比次优方法最高提升 +6.1%。该方法无需训练，可与量化组合使用，用于缓解专家 MLP 占用的推理内存。