把大模型跑在自己的机器上，动机通常就三类：数据不能出内网、长期调用的 API 成本压不下来、离线环境也要能用。这三条里任何一条成立，本地推理就值得认真考虑。 本地部署的技术门槛比调 API 高不少，但核心知识并不杂，主要就是三块：量化（把模型压小）、…
566
0
8
Soraya Published · 2026-10-10
Welcome
7AA7 Blog
Accounts require administrator approval before you can sign in with the password you set. Username must be 5+ letters or digits; email is used for password recovery.
把大模型跑在自己的机器上，动机通常就三类：数据不能出内网、长期调用的 API 成本压不下来、离线环境也要能用。这三条里任何一条成立，本地推理就值得认真考虑。 本地部署的技术门槛比调 API 高不少，但核心知识并不杂，主要就是三块：量化（把模型压小）、…
调用一个 embedding 接口拿到一串浮点数，然后算余弦相似度排序——这条链路看起来简单，但线上效果不达标的检索系统，有相当一部分问题出在这几步的细节上，而不是模型本身的能力。 相似度由任务定义，不由模型定义 通用 embedding 模型的训练目标通常是"语义…
