阿里巴巴集团旗下阿里云推出了一项计算资源池化解决方案，声称能将服务人工智能模型所需的英伟达（Nvidia）图形处理器（GPU）数量削减 82%。这项名为 Aegaeon 的系统在阿里云的模型市场进行了三个多月的 Beta 测试，成功将服务数十个参数高达 720 亿的模型所需的 Nvidia H20 GPU 数量从 1,192 个降至 213 个。该成果在本周于韩国首尔举行的第 31 届操作系统原理研讨会（SOSP）上发表。
研究人员指出，Aegaeon 是首个揭示市场中并发大型语言模型（LLM）工作负载相关过度成本的成果。该解决方案通过在 token 级别进行“自动扩缩容”，使单个 GPU 能够支持多达七个模型，并将模型切换的延迟降低了 97%。此举也反映了中国科技公司在日益严格的出口管制下，通过优化软件来减少对美国芯片依赖的努力。
南华早报
🍀在花频道 🍵茶馆 📮投稿
👏 280 👍 65 😁 21 🤣 14 ❤️ 12 😱 5 🤔 3 🔥 2
