Skip to main content

DeepSeek 开源日第 5 天:发布高性能并行文件系统 3FS,数据吞吐量高达 6.6 TiB/s2025年2月28日,DeepSeek 在开源周的第五天发布了 3FS(Fire-Flyer File System),这是一个专为现代 SSD 和 RDMA 网络带宽设计的高性能并行文件系统

  1. DeepSeek 开源日第 5 天:发布高性能并行文件系统 3FS,数据吞吐量高达 6.6 TiB/s

    2025年2月28日,DeepSeek 在开源周的第五天发布了 3FS(Fire-Flyer File System),这是一个专为现代 SSD 和 RDMA 网络带宽设计的高性能并行文件系统。该系统在数据访问性能上表现出色,特别适用于深度学习等数据密集型应用。

    3FS 在180节点集群中实现了6.6 TiB/s的聚合读取吞吐量,在25节点的GraySort基准测试中达到了3.66 TiB/min的吞吐量。每个客户端节点的KVCache查找峰值吞吐量超过40 GiB/s。3FS采用去中心化架构,提供强一致性语义。

    该文件系统在DeepSeek V3 / R1版本中广泛应用,涵盖了数据预处理、数据集加载、检查点保存/加载等关键过程,同时DeepSeek还开源了基于3FS的处理框架Smallpond。

    DeepSeek | GitHub

    📮投稿  ☘️频道  🌸聊天  🗞𝕏
    👍 447 🥰 28 ❤️ 18 🤣 13 🐳 9 😁 3 🤬 2 🗿 2