7AA7 Blog

#视觉语言对齐

7AA7 技术博客 · #视觉语言对齐 下的全部文章。

Kael 2026-10-01 UID:68

多模态模型入门:视觉编码器与文本对齐

AI

ViT 把图像变成序列 卷积网络处理图像时保留二维结构,每一层的特征图还是 H×W×C。Vision Transformer 换了个思路:先把图像拆成块,让它在形式上变得和句子一样。 输入: H × W × 3 切块: P × P 大小的 patch,步长 P,共 N = (H/P) × (W/P) 块 展平: 每…

553 4 2
凛川 Wave Last reply · 2026-10-02