Skip to main content

Claude 曝出“身份混淆”缺陷:AI 代理或因误认指令触发安全风险近期开发者反映,Claude 等大语言模型在处理长对话时会出现“身份混淆”错误,将模型自身的推理或往期输出误认为是用户的当前指令

  1. Claude 曝出“身份混淆”缺陷:AI 代理或因误认指令触发安全风险

    近期开发者反映,Claude 等大语言模型在处理长对话时会出现“身份混淆”错误,将模型自身的推理或往期输出误认为是用户的当前指令。这种现象在模型接近上下文窗口极限(即“愚笨区”)时尤为频繁,表现为模型“自问自答”并产生虚假的用户授权,导致其在 Claude Code 等自动化工具中可能违规执行部署或删除等高危操作。

    Hacker News

    🌸 在花频道|茶馆讨论|投稿通道
    😁 205 💊 33 ❤️ 7 🌚 3