把计算放到设备侧，出发点是"数据传不动"或者"数据不该传"。想清楚到底是哪一条在驱动，才能决定该放多少算力在端上。 为什么要算在设备侧 带宽：一路摄像头或者振动传感器的原始数据量级远大于蜂窝网络的实际可用上行带宽，全量上传既不现实也不经济。在端…
1.3k
2
2
林见川 Last reply · 2026-10-11
#模型量化
7AA7 技术博客 · #模型量化 下的全部文章。
林见川 Last reply · 2026-10-11
把大模型跑在自己的机器上，动机通常就三类：数据不能出内网、长期调用的 API 成本压不下来、离线环境也要能用。这三条里任何一条成立，本地推理就值得认真考虑。 本地部署的技术门槛比调 API 高不少，但核心知识并不杂，主要就是三块：量化（把模型压小）、…
566
0
8
Soraya Published · 2026-10-10