大模型的知识来自训练数据,训练截止之后发生的事它不知道;企业内部的文档、代码规范、产品手册,它更不可能见过。更麻烦的是,当模型对某个问题"没有把握"时,它并不会停下来,而是顺着语言习惯把答案编下去——这就是幻觉(hallucination)。 RAG(Retrieva…
#向量检索
7AA7 技术博客 · #向量检索 下的全部文章。
精确检索为什么撑不住 文本嵌入的常见维度是 768、1024、1536。在低维空间里,k-d tree 之类的空间划分结构能把最近邻查询压到对数时间;维度一高就失效——划分超平面几乎切不动数据,剪枝条件从不成立,实测退化成全表扫描,比裸暴力还慢(多了树遍历开销)…
调用一个 embedding 接口拿到一串浮点数,然后算余弦相似度排序——这条链路看起来简单,但线上效果不达标的检索系统,有相当一部分问题出在这几步的细节上,而不是模型本身的能力。 相似度由任务定义,不由模型定义 通用 embedding 模型的训练目标通常是"语义…
877
0
2
Soraya Published · 2026-09-10