推理成本过高时,摆在面前的通常有三条路:蒸馏、剪枝、低秩分解。它们的名字常被并列提及,但改变的东西完全不在同一个层面。区分清楚"动的是什么",是选择路线的第一步。 三条路线分别动的是什么 蒸馏改的是学习信号。教师的输出分布成为学生的监督目标,…
1.9k
0
16
Moon 槐 发布于 · 2026-09-14
欢迎你
7AA7 博客
注册提交后需管理员审核,通过后即可用你设置的密码登录。账号为 5 位以上英文字母 / 数字组合,邮箱用于找回密码。
7AA7 技术博客 · #低秩分解 下的全部文章。
推理成本过高时,摆在面前的通常有三条路:蒸馏、剪枝、低秩分解。它们的名字常被并列提及,但改变的东西完全不在同一个层面。区分清楚"动的是什么",是选择路线的第一步。 三条路线分别动的是什么 蒸馏改的是学习信号。教师的输出分布成为学生的监督目标,…