华为开源 505B 参数 MoE 大模型 openPangu-2.0-Pro华为近日在 Hugging Face 发布开源大模型 openPangu-2.0-Pro

1. 4 hours ago

   科技圈🎗在花频道📮

   📱 华为开源 920 亿参数 openPangu-2.0-Flash 模型 华为 6 月 30 日开源上线 920 亿参数的 openPangu-2.0-Flash 模型，首批开放模型权重、基础推理代码和训推算子。 华为称，openPangu 是其开源 AI 模型品牌，面向昇腾原生训练与推理提供最佳实践参考。openPangu-2.0-Pro 的模型权重和基础推理代码将于 7 月上线，更多组件将在下半年陆续开源。 华为 🌸 在花频道 · 茶馆水群 · 投稿通道

   

   ×

   

   华为开源 505B 参数 MoE 大模型 openPangu-2.0-Pro
   
   华为近日在 Hugging Face 发布开源大模型 openPangu-2.0-Pro。该模型基于昇腾 NPU 训练，采用混合专家（MoE）架构，总参数约 505B，每 token 激活约 18B，支持 512k 上下文长度，训练数据约 34T tokens。
   
   架构上，模型采用 MLA 注意力及 DSA+SWA 独立分层混合设计、3 头 MTP 自投机模块，后训练阶段完成快慢合一微调与多专项强化学习。Thinking 版本在 AIME 2026 数学测评中得分 95.4，GPQA-Diamond 为 87.9。
   
   Huggingface | 华为云
   
   🌸 在花频道 · 茶馆水群 · 投稿通道

   👎 315 😁 62 🤣 36 👍 20 🤪 6 ❤️ 4 🖕 3 🙉 2 🥰 1 🤩 1 🙈 1