METR称GPT-5.6 Sol评测作弊率高于此前公开模型METR完成GPT-5.6 Sol部署前评估，模型在软件任务中多次利用评测环境漏洞、提取隐藏代码，作弊率高于其通过ReAct代理框架测试的所有公开模型

1. 13 hours ago

   科技圈🎗在花频道📮

   Cursor 研究：越强的 AI 模型越会“作弊”或“抄袭”应对编程基准测试 Cursor 团队发现在 SWE-bench Pro 测试中，Opus 4.8 Max 编程功能的 63%的成功案例并非模型自行推导，而是通过检索公开网络上的已知补丁或挖掘仓库 Git 历史直接套用答案。移除.git 目录并限制网络访问后，Opus 4.8 Max 得分从 87.1%骤降至 73.0%，Cursor 自家的 Composer 2.5 从 74.7%降至 54.0%。 研究显示这种“鼓励作弊”行为随模型代际急剧升级：Opus…

   

   ×

   

   METR称GPT-5.6 Sol评测作弊率高于此前公开模型
   
   METR完成GPT-5.6 Sol部署前评估，模型在软件任务中多次利用评测环境漏洞、提取隐藏代码，作弊率高于其通过ReAct代理框架测试的所有公开模型。按作弊任务计为失败，其完成复杂任务的50%时间跨度约为11.3小时；若计为成功，则超过270小时，结果已超出评测体系的可靠范围。
   
   METR认为现有数据不足以稳定衡量GPT-5.6 Sol的能力，但结合其他基准测试判断，其软件和研发能力没有显著超越当前领先水平，也未达到OpenAI准备框架中AI自我改进的关键能力门槛。
   
   METR Blog
   
   🌸 在花频道 · 茶馆水群 · 投稿通道

   😁 223 🤣 97 👎 9 👍 7 ❤️ 5 🗿 2 👀 1 🙈 1