Google Research·· 16 天前AI 评分54
Google Research 提出 sleep 框架，让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出 sleep 框架，为 LLM 引入活跃交互与离线巩固交替的周期性生命周期，缓解持续参数更新带来的灾难性遗忘。睡眠阶段通过 MoE 参数扩展与基于 GKD 和强化学习模仿的知识播种完成记忆巩固，再以随机专家激活和筛选合成样本的做梦循环自我改进。
来源：Google Research · research.google