Hugging Face 提出 HOPE:MoE 模型的专家高阶剪枝方法
Hugging Face 博客介绍 HOPE(Higher-Order Pruning of Experts),一种考虑专家两两交互的二阶 MoE 剪枝方法,替代按独立重要性打分的一阶方法。在 50% 剪枝率下,HOPE 平均排名优于所有方法,在智能体编程任务上相比次优方法最高提升 +6.1%。该方法无需训练,可与量化组合使用,用于缓解专家 MLP 占用的推理内存。
Hugging Face 博客介绍 HOPE(Higher-Order Pruning of Experts),一种考虑专家两两交互的二阶 MoE 剪枝方法,替代按独立重要性打分的一阶方法。在 50% 剪枝率下,HOPE 平均排名优于所有方法,在智能体编程任务上相比次优方法最高提升 +6.1%。该方法无需训练,可与量化组合使用,用于缓解专家 MLP 占用的推理内存。
Berkeley AI Research 博客介绍给 K-Search 演进式内核搜索框架新增 MLX 后端和结构化 CUDA-to-MLX 翻译层,把已有 CUDA 内核知识迁移到 Apple Silicon。
推荐理由:研究展示 CUDA 优化经验可经结构化翻译迁移到 MLX,让演进式内核搜索在 Apple Silicon 上接近专家水平。
研究者提出基于梯度的世界模型规划器 GRASP,通过把轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代中注入随机性以探索,并重塑梯度避免经由高维视觉模型的高维“状态-输入”梯度。长时程规划中存在计算图条件数随时程指数恶化、非贪心结构带来局部极小值等问题,GRASP 针对这些失败模式提升了规划的稳健性。