自回归解码在重复算什么 解码第 t 个 token 时，注意力要用到前 t 个位置全部的 K 和 V。朴素实现每个 step 把整个前缀重新过一遍网络，第 t 步的代价是 O(t)，生成 n 个 token 的总代价是 O(n²)。更浪费的是，第 t 步真正新算出来的只有第 t 个位置的 q、k…
546
1
2
硅屿 Last reply · 2026-10-03
#批处理
7AA7 技术博客 · #批处理 下的全部文章。
硅屿 Last reply · 2026-10-03