Skip to main content

苹果携手英伟达，大幅提升大语言模型文本生成速度苹果与英伟达合作，将其ReDrafter技术集成至英伟达TensorRT-LLM，大幅提升大语言模型(LLM)文本生成速度

  1. 苹果携手英伟达，大幅提升大语言模型文本生成速度

    苹果与英伟达合作，将其ReDrafter技术集成至英伟达TensorRT-LLM，大幅提升大语言模型(LLM)文本生成速度。ReDrafter现已集成于TensorRT-LLM，开发者可轻松利用其加速生产环境LLM应用。测试显示，在英伟达GPU上，该技术使文本生成速度提升高达2.7倍，降低延迟和功耗，显著改善用户体验。

    9to5Mac | Apple

    📮投稿 ☘️频道 🌸聊天
    👍 148 😁 38 🤯 7 ❤️ 4 👎 2 🆒 1