跳到正文
11月9日周一
  1. Hugging Face Blog41

    Hugging Face 提出 HOPE:MoE 模型的专家高阶剪枝方法

    Hugging Face 博客介绍 HOPE(Higher-Order Pruning of Experts),一种考虑专家两两交互的二阶 MoE 剪枝方法,替代按独立重要性打分的一阶方法。在 50% 剪枝率下,HOPE 平均排名优于所有方法,在智能体编程任务上相比次优方法最高提升 +6.1%。该方法无需训练,可与量化组合使用,用于缓解专家 MLP 占用的推理内存。

10月28日周三
10月22日周四
10月12日周一
7月29日周三
3月13日周五
  1. Berkeley AI Research49

    面向 LLM 的大规模交互识别:SPEX 与 ProxySPEX 算法

    伯克利 AI 研究团队介绍了 SPEX 与 ProxySPEX 两种算法,用于在特征归因、数据归因与机制可解释性中大规模识别关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题;ProxySPEX 进一步利用层次结构,在约少 10 倍消融次数下达到 SPEX 的性能。在情感分析与 RAG 等任务上,SPEX 在上下文扩展到数千特征时仍保持高忠实度。