Skip to main content

OpenAI 遥遥领先 —— GPT-4 与 Claude 2.1 的长上下文精度对比 Greg Kamradt 对 GPT-4 (128K) 与 Claude 2.1 (200K) 进行了名为"大海捞针"的长上下文精度测试

  1. OpenAI 遥遥领先 —— GPT-4 与 Claude 2.1 的长上下文精度对比

    Greg Kamradt 对 GPT-4 (128K) 与 Claude 2.1 (200K) 进行了名为"大海捞针"的长上下文精度测试。实验了两个AI在接收不同长度的上下文时，对文档中不同位置的内容，有何记忆上的差异。

    测试结果 :
    * AI更容易记住 (无论长度) : 文本后半部分。
    * AI更不容易记住 (90K 长文时) : 文本前半部分。
    * AI近乎100%记住 (无论长度) : 文本开头&文本结尾。
    * 越少的上下文=越高的准确性。
    * 测试的 API 调用成本约为1016美元。

    Greg Kamradt

    投稿：@ZaiHuaBot
    频道：@TestFlightCN
    👍 239 🤩 21 ❤️ 9 👏 4 🆒 3 👀 2 😁 1 🎄 1