Skip to main content

DeepSeek 开源大规模推理框架 DeepInfer10 月 20 日,DeepSeek 开源内部大规模推理框架 DeepInfer,并同步开源 Token 编解码组件 deepseek-recipe

  1. DeepSeek 开源大规模推理框架 DeepInfer

    10 月 20 日,DeepSeek 开源内部大规模推理框架 DeepInfer,并同步开源 Token 编解码组件 deepseek-recipe。基于该框架,V4.1 Flash 的单一集群吞吐达 155 万亿 Tokens/天。

    该框架支持分布式推理、推测解码、结构化输出等能力,可在英伟达与华为昇腾平台运行;KVCache 可保留 72 小时以上。

    Github | DeepSeek

    🌸 科技圈· 茶馆 · 投稿
    🐳 670 👍 78 😱 13 ❤️ 12 👎 7 🫡 5 😁 3 👏 1