Skip to main content

iPhone 通过 SSD 流式读取运行 400B 模型400B 模型在 iPhone 上通过 SSD 流式读取和 Flash-MoE 引擎运行，仅占用 5.5 GB 内存，速度为 0.6 token/s

  1. iPhone 通过 SSD 流式读取运行 400B 模型

    400B 模型在 iPhone 上通过 SSD 流式读取和 Flash-MoE 引擎运行，仅占用 5.5 GB 内存，速度为 0.6 token/s。

    Anemll

    🌸 在花频道 · 茶馆讨论 · 投稿通道
    ⭐ 3 🤯 424 👍 41 😁 19 🤔 11 ❤️ 5 🥰 5 🍾 4 🤓 4