跳到正文
11月9日周一
  1. Hugging Face Blog41

    Hugging Face 提出 HOPE:MoE 模型的专家高阶剪枝方法

    Hugging Face 博客介绍 HOPE(Higher-Order Pruning of Experts),一种考虑专家两两交互的二阶 MoE 剪枝方法,替代按独立重要性打分的一阶方法。在 50% 剪枝率下,HOPE 平均排名优于所有方法,在智能体编程任务上相比次优方法最高提升 +6.1%。该方法无需训练,可与量化组合使用,用于缓解专家 MLP 占用的推理内存。

7月29日周三
4月20日周一
  1. Berkeley AI Research45

    GRASP:面向世界模型的梯度规划方法,让长时程规划更稳健

    研究者提出基于梯度的世界模型规划器 GRASP,通过把轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代中注入随机性以探索,并重塑梯度避免经由高维视觉模型的高维“状态-输入”梯度。长时程规划中存在计算图条件数随时程指数恶化、非贪心结构带来局部极小值等问题,GRASP 针对这些失败模式提升了规划的稳健性。