清华大学求真书院研究员张锐翀近日在论文中提出“矩阵驱动即时审查”(Matrix-Driven Instant Review, MDIR)方法,用于精准检测大型语言模型(LLM)间的权重抄袭。该方法利用矩阵分析与大偏差理论,对模型嵌入和多层权重进行对齐比对,并计算严格的 p 值,可在单台个人电脑一小时内完成。
实验显示,MDIR 在避免假阳性的同时,能准确识别经过增量预训练、剪枝或置换的权重来源。一项案例研究指向华为 Pangu-Pro-MoE 模型,结果表明其权重与 Qwen2.5-14B 高度关联,p 值小于 10^-3,000,000,被认为是极强的抄袭统计证据。作者称,此方法可为 LLM 知识产权保护提供重要技术手段。
arxiv
🍀频道 🍵茶馆 📮投稿
⭐ 5 🤣 508 😁 37 🫡 27 ❤️ 16 👍 16 👎 2