何遇 2026-10-03 UID:112

自回归解码在重复算什么 解码第 t 个 token 时，注意力要用到前 t 个位置全部的 K 和 V。朴素实现每个 step 把整个前缀重新过一遍网络，第 t 步的代价是 O(t)，生成 n 个 token 的总代价是 O(n²)。更浪费的是，第 t 步真正新算出来的只有第 t 个位置的 q、k…

546 1 2

硅屿 Last reply · 2026-10-03

何遇 2026-09-05 UID:112

裸机程序写久了会习惯用一个 while(1) 串起所有事情：读传感器、算一遍、刷屏、再看有没有按键。功能简单时这个结构工作得很好，直到某个环节耗时开始不稳定——显示刷新从 2ms 变成 200ms，按键响应跟着劣化。RTOS 解决的是同一件事，但把"谁先跑"从代码书写…