跳到正文
Berkeley AI Research·AI 评分49

面向 LLM 的大规模交互识别:SPEX 与 ProxySPEX 算法

Identifying Interactions at Scale for LLMs

AI 导读

伯克利 AI 研究团队介绍了 SPEX 与 ProxySPEX 两种算法,用于在特征归因、数据归因与机制可解释性中大规模识别关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题;ProxySPEX 进一步利用层次结构,在约少 10 倍消融次数下达到 SPEX 的性能。在情感分析与 RAG 等任务上,SPEX 在上下文扩展到数千特征时仍保持高忠实度。

来源:Berkeley AI Research · bair.berkeley.edu