百度开源基座模型文心 5.5 Flash Base
百度正式开源最新基座模型文心 5.5 Flash Base。模型采用 MoE 架构,总参数量 2800 亿,每 Token 激活 140 亿参数,预训练用 33.5 万亿 Token,预训练上下文最长 128K,微调与推理支持最长 100 万 Token 上下文。
围绕“效率”主线,模型在注意力机制、专家路由及训练目标等环节做了系统性优化,以提升资源利用效率。
新华网
🌸 科技圈· 茶馆 · 投稿
百度正式开源最新基座模型文心 5.5 Flash Base。模型采用 MoE 架构,总参数量 2800 亿,每 Token 激活 140 亿参数,预训练用 33.5 万亿 Token,预训练上下文最长 128K,微调与推理支持最长 100 万 Token 上下文。
围绕“效率”主线,模型在注意力机制、专家路由及训练目标等环节做了系统性优化,以提升资源利用效率。
新华网
🌸 科技圈· 茶馆 · 投稿
🤣 325 👎 50 👍 22 🖕 6 😁 5 ❤️ 4 👏 4 🌚 4 🤔 2