Hugging Face 提出 HOPE:MoE 模型的专家高阶剪枝方法
Hugging Face 博客介绍 HOPE(Higher-Order Pruning of Experts),一种考虑专家两两交互的二阶 MoE 剪枝方法,替代按独立重要性打分的一阶方法。在 50% 剪枝率下,HOPE 平均排名优于所有方法,在智能体编程任务上相比次优方法最高提升 +6.1%。该方法无需训练,可与量化组合使用,用于缓解专家 MLP 占用的推理内存。
Hugging Face 博客介绍 HOPE(Higher-Order Pruning of Experts),一种考虑专家两两交互的二阶 MoE 剪枝方法,替代按独立重要性打分的一阶方法。在 50% 剪枝率下,HOPE 平均排名优于所有方法,在智能体编程任务上相比次优方法最高提升 +6.1%。该方法无需训练,可与量化组合使用,用于缓解专家 MLP 占用的推理内存。
Google Research 提出 sleep 框架,为 LLM 引入活跃交互与离线巩固交替的周期性生命周期,缓解持续参数更新带来的灾难性遗忘。睡眠阶段通过 MoE 参数扩展与基于 GKD 和强化学习模仿的知识播种完成记忆巩固,再以随机专家激活和筛选合成样本的做梦循环自我改进。
微软研究院研究员张新智与合著者证明了一个存在 31 年的数学难题,即高维几何中的 Kannan-Lovász-Simonovits(KLS)猜想,证明它时所用的固定界不随维数增长。
推荐理由:这篇论文证明了一个存在 31 年的数学猜想,其中人机协作探索的路径可以作为参考。
Import AI 476 介绍了 Elorian 与 Scale AI 发布的 Humanity's Sixth Sense 基准,用 522 道题测试模型对视觉场景隐含信息的直觉推理,人类 pass@1 达 93.1,最高的 GPT 6 Astra 仅 53.6,GLM-5.3-flash 和 Kimi K3 分别只有 26.8 和 25.5。
Berkeley AI Research 博客介绍给 K-Search 演进式内核搜索框架新增 MLX 后端和结构化 CUDA-to-MLX 翻译层,把已有 CUDA 内核知识迁移到 Apple Silicon。
推荐理由:研究展示 CUDA 优化经验可经结构化翻译迁移到 MLX,让演进式内核搜索在 Apple Silicon 上接近专家水平。
伯克利 AI 研究团队介绍了 SPEX 与 ProxySPEX 两种算法,用于在特征归因、数据归因与机制可解释性中大规模识别关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题;ProxySPEX 进一步利用层次结构,在约少 10 倍消融次数下达到 SPEX 的性能。在情感分析与 RAG 等任务上,SPEX 在上下文扩展到数千特征时仍保持高忠实度。