马斯克开源大型语言模型 Grok-1Grok-1 的权重和架构现已在 Apache 2.0 许可证下发布在了 github.com/xai-org/grokGrok-1 是一个由 xAI 训练的 3140 亿参数专家混合模型 (8 个专家)，给定输入上有 25% 的活跃权重

1. 08:31 · Mar 18, 2024 · Mon

   

   ×

   

   马斯克开源大型语言模型 Grok-1
   
   Grok-1 的权重和架构现已在 Apache 2.0 许可证下发布在了 github.com/xai-org/grok
   
   Grok-1 是一个由 xAI 训练的 3140 亿参数专家混合模型 (8 个专家)，给定输入上有 25% 的活跃权重。该权重为2023年10月预训练结束时的原始权重，这意味着此时没有针对任何特定对话进行微调。
   
   xAI
   
   线索：@ZaiHuabot
   投稿：@TNSubmbot
   频道：@TestFlightCN

   👍 219 🫡 44 🤣 16 ❤️ 5 👨‍💻 4 👎 3 🆒 2 🥰 1 🤔 1