Hugging Face 提出 HOPE:MoE 模型的专家高阶剪枝方法
Hugging Face 博客介绍 HOPE(Higher-Order Pruning of Experts),一种考虑专家两两交互的二阶 MoE 剪枝方法,替代按独立重要性打分的一阶方法。在 50% 剪枝率下,HOPE 平均排名优于所有方法,在智能体编程任务上相比次优方法最高提升 +6.1%。该方法无需训练,可与量化组合使用,用于缓解专家 MLP 占用的推理内存。
Hugging Face 博客介绍 HOPE(Higher-Order Pruning of Experts),一种考虑专家两两交互的二阶 MoE 剪枝方法,替代按独立重要性打分的一阶方法。在 50% 剪枝率下,HOPE 平均排名优于所有方法,在智能体编程任务上相比次优方法最高提升 +6.1%。该方法无需训练,可与量化组合使用,用于缓解专家 MLP 占用的推理内存。
AI2 在 Hugging Face 发布 ToyBlocks,一个围绕机械臂与桌面方块的开源仿真框架,并把它定义为首个 FoundationWorld,配套任务与演示自动生成工具及行为评测指标。
Google Research 提出 Agile Deliberation 框架,把主观视觉分类器的定义过程变成人与 AI 的迭代对话:先由用户把概念拆成子类与排除项,再由视觉语言模型主动挑出语义边界模糊的图片,让用户澄清真实意图,反馈直接进入自动提示词优化循环。
Berkeley AI Research 博客介绍给 K-Search 演进式内核搜索框架新增 MLX 后端和结构化 CUDA-to-MLX 翻译层,把已有 CUDA 内核知识迁移到 Apple Silicon。
推荐理由:研究展示 CUDA 优化经验可经结构化翻译迁移到 MLX,让演进式内核搜索在 Apple Silicon 上接近专家水平。
伯克利 AI 研究团队介绍了 SPEX 与 ProxySPEX 两种算法,用于在特征归因、数据归因与机制可解释性中大规模识别关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题;ProxySPEX 进一步利用层次结构,在约少 10 倍消融次数下达到 SPEX 的性能。在情感分析与 RAG 等任务上,SPEX 在上下文扩展到数千特征时仍保持高忠实度。