点积是一次可微的软检索 把每个 token 表示成 d_model 维向量，一句话就是矩阵 X ∈ R^(n×d)。注意力层用三个可学习投影把它变成三份： Q = X W_Q K = X W_K V = X W_V 几何含义比公式更好用：K 是"我能被什么检索到"的标签，Q 是"我现在要找什么"的探…
1.6k
2
12
硅屿 最后回复于 · 2026-09-18