线性注意力把上下文压成一个固定大小的递归状态,但每个解码步都要读/更新这个状态,成了推理瓶颈。量化本应直接降成本,可舍入误差会在解码步里不断累积、外加状态里的离群行列,直接把质量打崩。LeapQuant 用三个免训练(training-free)技巧把 8-bit 递归态做到近乎无损,内核级提速 2.05–3.70×、端到端 1.57×。这是 UC Berkeley / NVIDIA 团队的开源工作(2026/11)。
背景
近期 LLM 用线性注意力替换了大量标准注意力层,比如 Qwen 的门控 Delta 网络(GDN)和 Kimi 的 Delta Attention(KDA)。线性注意力把上下文压成一个固定大小的递归状态(recurrent state)。但解码时,每一步都要读并更新这个状态,仍是主要瓶颈。
量化是降低这项成本的天然手段,但它会显著劣化模型质量:舍入误差跨解码步累积,状态里的离群行和列又让每次量化都不准。LeapQuant 用三个免训练技巧同时解决这两个问题。
方法
① 按窗口量化(Per-window quantization)——限制误差累积。LeapQuant 跳过一窗 token,只在窗口末尾量化一次状态。窗口内低比特状态保持不变,token 更新以高精度缓冲,每个输出由「固定状态 + 缓冲更新」算出。这样舍入误差被关在一个窗口里,不会无界累积。
② 补偿 Token(Compensator Tokens)——降低每次量化的误差。把状态里最大的若干离群项以高精度保留为几个「补偿 Token」,每个都是一个秩一外积,和真实 token 的更新形式相同,因此直接复用窗口内的更新路径,几乎不增加额外开销。
③ 残差平滑(Residual smoothing)——均衡量级。移除补偿 Token 后,残差在 key 通道上量级仍可能不均。LeapQuant 在量化前对每个 key 行做缩放,把这些量级拉平;平滑尺度在每个窗口边界重算。
结果
精度与 FP32 基线相当,内核实测提速 2.05–3.70×,端到端(vLLM)1.57×,测试于 NVIDIA B200、RTX PRO 6000、RTX 5090。下表是各方法在 AIME 2026 / BeyondAIME / GPQA-Diamond / LiveCodeBench v6 四个基准上的平均精度(%),LeapQuant 在 8-bit、6-bit、4-bit 下都近乎无损,而其它低比特方法误差累积后直接崩溃。
| 方法 | 精度(Avg.,%) | 说明 |
|---|---|---|
| FP32 | 84.0 | 全精度基线 |
| LeapQuant (8-bit) | 84.4 | 近乎无损,反超全精度 |
| KVQuant | 75.2 | 8-bit |
| INT8 | 47.7 | 8-bit |
| FP8 | 45.1 | 8-bit,误差随步累积崩溃 |
| TurboQuant (6-bit) | 60.1 | 6-bit |
| LeapQuant (6-bit) | 84.4 | 近乎无损 |
| LeapQuant (4-bit) | 80.6 | 4-bit 仍显著领先 |
值得注意的是 BF16(72.5)反而低于 8-bit 的 LeapQuant(84.4)——线性注意力的递归态对量化很敏感,朴素降精度会放大误差累积,这正是 LeapQuant 要解决的。
使用
LeapQuant 已作为插件集成进 vLLM 0.30.0,支持 Qwen(GDN)和 GLM(KDA)模型。安装并起一个 8-bit 递归态的 OpenAI 兼容 vLLM 服务:
1 | git clone https://github.com/leapquant/LeapQuant.git |
serve.sh 起一个带 8-bit 递归态的 OpenAI 兼容 vLLM 服务,额外参数透传给 vllm serve。项目基于 vLLM、TileLang 和 Flash Linear Attention 构建,依赖 vllm==0.30.0 与 tilelang==0.1.12,需要 Python ≥ 3.12。
参考链接
- 代码:github.com/leapquant/LeapQuant
- 论文:arXiv:2609.38166
- 项目页:leapquant.github.io
1 | @article{pan2026leapquant, |