FlashAttention升级，实现长文本推理速度8倍提升Together AI官方推特发文称其推出的Flash-Decoding,使长上下文 LLM 推理速度加快8倍

1. 19:07 · Oct 14, 2023 · Sat

   

   ×

   

   

   ×

   

   FlashAttention升级，实现长文本推理速度8倍提升
   
   Together AI官方推特发文称其推出的Flash-Decoding,使长上下文 LLM 推理速度加快8倍。
   
   据其介绍,达成这一效果的原理为并行加载KV缓存，然后分别重新缩放以合并结果。
   
   来源
   
   投稿：@ZaiHuaBot
   频道：@TestFlightCN

   🍌 56 👍 17 ❤️ 1 😁 1