Skip to main content

Google 提出睡眠框架,助大模型持续学习不遗忘Google Research 提出“睡眠框架”,在持续学习中增加离线睡眠阶段,让大语言模型把短期上下文巩固为长期参数,缓解灾难性遗忘

  1. Google 提出睡眠框架,助大模型持续学习不遗忘

    Google Research 提出“睡眠框架”,在持续学习中增加离线睡眠阶段,让大语言模型把短期上下文巩固为长期参数,缓解灾难性遗忘。

    模型在主动交互与离线巩固间周期切换,在 1000 万 token 长上下文、持续翻译、数学推理等测试中超过 GPT-4、SFT 等基线。

    Google Research

    🌸 科技圈· 茶馆 · 投稿
    🥱 278 👍 76 😢 33 👎 24 💔 22 🖕 21 😈 20 🤬 18 😡 15 🍌 12 ❤️ 11