Nature 研究称模型蒸馏可经无关数据隐性传递行为特征
研究称，大语言模型蒸馏时，即便训练数据只是数字序列、代码或数学推理，学生模型仍可能继承教师模型的偏好或失调行为。
论文称，这种“隐性学习”在师生模型共享或高度匹配底模时更明显，提示 AI 安全评估除看输出，还应追踪模型与训练数据来源。
Nature
🌸 在花频道｜茶馆讨论｜投稿通道
研究称，大语言模型蒸馏时，即便训练数据只是数字序列、代码或数学推理，学生模型仍可能继承教师模型的偏好或失调行为。
论文称，这种“隐性学习”在师生模型共享或高度匹配底模时更明显，提示 AI 安全评估除看输出，还应追踪模型与训练数据来源。
Nature
🌸 在花频道｜茶馆讨论｜投稿通道
😁 134 🤔 15 🤩 6 ❤️ 4 😱 2 👍 1 👎 1
