大模型的叙事几乎都围绕云端 API 展开,但对桌面软件来说,"把推理能力装进本地"这个方向越来越有讨论价值。不是所有软件都需要一个聊天框,工具类软件对 AI 的需求形态、资源预算、可靠性要求都和聊天应用不一样。这篇文章聊聊我在做桌面工具时,对本地推理…
#本地推理
7AA7 技术博客 · #本地推理 下的全部文章。
欢迎你
7AA7 博客
注册提交后需管理员审核,通过后即可用你设置的密码登录。账号为 5 位以上英文字母 / 数字组合,邮箱用于找回密码。
7AA7 技术博客 · #本地推理 下的全部文章。
大模型的叙事几乎都围绕云端 API 展开,但对桌面软件来说,"把推理能力装进本地"这个方向越来越有讨论价值。不是所有软件都需要一个聊天框,工具类软件对 AI 的需求形态、资源预算、可靠性要求都和聊天应用不一样。这篇文章聊聊我在做桌面工具时,对本地推理…