视觉语言模型技术指南LLaVA、Qwen-VL、MiniCPM-V 等主流方案差别在哪上一篇我们把“图像到底是怎么接进语言模型”的底层链路拆开了。现在可以往前走一步进入很多人真正关心的问题同样都是 VLM为什么 LLaVA、Qwen-VL、MiniCPM-V、InternVL 这些模型实际体验会差这么多有些模型更像“给 LLM 加了看图能力”适合通用图文问答。有些模型明显更擅长文档理解OCR 文字读取多图比较高分辨率图像输入移动端或边缘端部署还有些模型在 benchmark 上很强但一上线就暴露出显存压力太大输入分辨率限制很死图文 token 太多OCR 稳定性一般多图场景延迟偏高这背后并不只是“参数规模不同”。更关键的是它们在四个地方做了不同取舍视觉前端怎么选CLIP、SigLIP、InternViT 还是自研视觉 backbone视觉信息怎么接到 LLM 上MLP projector、cross-attention还是更复杂的连接结构输入策略怎么做固定分辨率、动态分辨率、切图、tile、多图组织训练目标和数据分布偏向哪里偏通用对话、偏 OCR 文档、偏高分辨率理解还是偏轻量部署这篇文章我想做的不是罗列一堆模型名字而是从工程视角讲清楚主流 VLM 路线到底在设计上差在哪这些差异最后又怎样影响精度、吞吐、延迟、显存和落地可用性。如果你正在选型或者准备自己搭建图文系统这篇比单纯看排行榜更有用。一、先给结论主流 VLM 的差别核心不在“会不会看图”而在“怎么看、看多少、看完后怎么交给 LLM”很多入门讨论容易把 VLM 模型看成同一种东西。仿佛区别只是底模大小不同参数量不同benchmark 分数不同但如果从系统结构看更关键的问题其实是这三个图像先被编码成什么样的视觉表示这些视觉表示以什么形式进入语言模型模型是否被训练去处理高分辨率、多图、文档和 OCR 这类复杂任务这三件事会直接决定最终体验。比如两个模型参数量接近但如果一个只支持中等分辨率单图用简单 MLP projector 接入训练数据以 caption 和通用 QA 为主另一个支持动态高分辨率输入针对文档和 OCR 做了专门数据增强输入组织和视觉 token 压缩更激进那它们在真实业务里的表现可能完全不是一个物种。所以看主流 VLM不要只问“哪个模型更强”而要问“它到底优化了哪类视觉任务以及为此付出了什么代价”二、先立一个分析框架比较 VLM我最建议看这五层如果你以后要持续比较多模态模型我建议固定看五层。1视觉编码器层关注点包括用的是什么视觉 backbonepatch size 多大原生支持的输入分辨率多高是否偏向通用语义还是偏向文档/OCR 细节这是模型“看图的底座”。2模态桥接层关注点包括是简单线性映射还是多层 MLP是否用了 cross-attention是否存在 query-based 压缩结构视觉 token 是否会被重新采样或压缩这决定视觉信息能不能高效、稳定地传给 LLM。3语言主干层关注点包括用的是哪类 LLM 底模上下文窗口多大是否对工具调用、长上下文、多轮对话友好视觉能力再强如果语言主干弱多轮问答和复杂推理仍然会拉胯。4输入组织层关注点包括单图还是多图能力强是否支持高分辨率切块图像 token 会不会爆炸文本和图像的拼接顺序如何组织这直接决定部署时的吞吐和显存成本。5训练与任务偏置层关注点包括数据是偏 caption、偏 VQA还是偏 OCR / 文档 / chart是否有多轮多模态指令数据是否做过专项强化比如表格、GUI、数学图像这一层往往最容易被忽略但实际最决定“模型适不适合你的业务”。三、LLaVA 路线为什么它成了很多人理解 VLM 的起点如果说哪条路线最适合入门理解 VLM基本就是 LLaVA。因为它的设计非常典型也非常工程化用已经训练好的 vision encoder用一个相对简单的 projector 接到 LLM 上再做多模态指令微调这条路线的价值在于它把“多模态能力接到现成 LLM 上”这件事做到了足够清晰、足够实用。1LLaVA 的核心思路尽量少改结构快速把视觉能力接进文本大模型LLaVA 的典型做法可以概括成三步用 CLIP 类视觉编码器把图像变成视觉特征用 MLP projector 把视觉特征映射到 LLM hidden size把这些视觉 token 和文本 prompt 一起送入语言模型它的优点非常明确结构简单容易复现训练成本相对可控非常适合做开源社区扩展这也是为什么 LLaVA 系模型生态特别活跃。2LLaVA 路线的优势搭建门槛低通用图文问答性价比高如果你的目标是先做一个能工作的图文对话系统单图问答为主不追求极端 OCR 和文档精度希望训练和推理链路尽可能简单那 LLaVA 路线很合适。它通常在这些场景里够用通用看图问答场景描述简单图文推理基础教育演示多模态聊天原型3LLaVA 路线的短板高分辨率、文档细节和复杂多图任务往往不是强项它的问题也很明显。由于很多 LLaVA 风格模型视觉输入分辨率比较保守连接方式偏轻量训练偏通用对话所以一旦任务变成小字 OCR高分辨率海报解析多页文档理解多图细节比较GUI 元素定位性能就常常开始掉。这不是说 LLaVA 不行而是它的设计目标本来就更偏以尽量低的结构复杂度换取够强的通用多模态能力。4部署视角怎么看 LLaVA 路线从部署角度LLaVA 路线的优点是pipeline 清晰工程栈成熟社区支持广容易接 vLLM、SGLang、Transformers 等推理框架但你要注意几个参数图像分辨率上限每张图映射出的视觉 token 数projector 的额外显存占用多图场景下的 prefill 成本如果你要做低成本原型或者 API 级图文聊天LLaVA 路线很值得优先考虑。四、Qwen-VL 路线为什么它在中文、多模态对话和复杂任务适配上更受关注Qwen-VL 这条线之所以讨论度很高一个重要原因是它不是单纯追求“能看图”而是更强调图文对话体验中文场景可用性复杂任务覆盖系统级多模态扩展能力1Qwen-VL 的吸引力不只是视觉而是“语言底座 多模态能力”的整体平衡很多时候真实使用感不是由视觉前端单独决定的。用户最终感受到的是看图是否准确追问是否自然中文解释是否顺多轮交互是否稳推理过程是否连贯Qwen 系列本身在语言能力上就比较强所以一旦多模态接得稳整体体验常常会比“视觉还行但语言主干一般”的模型更完整。2Qwen-VL 类路线通常更重视多任务覆盖而不只是一张图的 caption在很多实际测评里Qwen-VL 系模型更常被拿去测OCR图表理解文档问答中文图片内容解析多轮多模态对话这说明它的设计目标本身就更偏向“实用型通用多模态助手”。3Qwen-VL 的工程含义更容易作为通用产品底座但也更考验推理资源管理如果你用 Qwen-VL 这类模型做线上服务通常需要重点关注高分辨率输入时的显存曲线OCR/文档类图片导致的 token 增长多轮历史叠加后的上下文长度图像与文本交替输入时的吞吐衰减换句话说它常常更“全能”但也更容易在生产里把资源吃满。4Qwen-VL 更适合哪些场景如果你的业务更偏中文图文问答文档和截图理解需要较强的语言解释能力希望模型兼顾聊天、OCR 和推理那它通常比纯 LLaVA 风格路线更有吸引力。但前提是你愿意接受更复杂的部署优化。五、MiniCPM-V 路线为什么它经常出现在“轻量但 surprisingly strong”的讨论里MiniCPM-V 很有代表性因为它体现了一类非常现实的工程目标不是一味做大而是在有限参数和有限资源下把多模态能力做到尽可能高。1MiniCPM-V 的核心价值更强调效率、紧凑性和端侧友好性很多团队并不需要一个超大多模态底模。他们更关心的是单卡能不能跑移动端或边缘设备有没有可能部署延迟能不能接受小模型下 OCR 和图文问答还能不能打MiniCPM-V 之所以受关注就是因为它在这类约束下往往能给出不错的结果。2轻量模型为什么还能有竞争力因为多模态系统的表现并不只由参数量决定。如果一个模型在这些地方优化得更好视觉 token 压缩更有效输入分辨率策略更聪明训练数据分布更贴近目标任务指令数据质量更高那它完全可能用更少参数换来更好的单位成本表现。3MiniCPM-V 的典型适用场景它更适合资源受限部署本地或端侧推理中小规模图文服务对每次推理成本很敏感的产品当然代价也存在。在极复杂场景下比如超长文档大量多图联合推理高难度跨区域关系理解轻量路线通常还是会遇到能力上限。4部署上该怎么看 MiniCPM-V如果你重视的是“单位 GPU 预算下尽可能高的可用性”MiniCPM-V 这条线很值得研究。你需要重点观察在 4bit / 8bit 量化后表现掉不掉OCR 精度与吞吐的平衡点在哪在单图、双图、多图场景中的时延变化在小 batch 和高并发下的稳定性它不一定是“绝对最强”的路线但很可能是“最划算”的路线之一。六、InternVL 一类路线为什么它们常和高分辨率、多图、文档能力绑在一起除了 LLaVA、Qwen-VL、MiniCPM-V另一个非常值得单独看的方向是 InternVL 这一类更强调视觉能力上限的路线。这类模型常被讨论的关键词是高分辨率理解多图能力文档与 OCR更强视觉 backbone更复杂输入组织1这类路线的核心目标别太早丢掉视觉细节很多简单多模态系统的问题在于图片一 resize细节就没了patch 一粗化文字就糊了视觉 token 一压缩小目标和局部结构就被吞掉了所以更强调高分辨率和文档能力的路线会想办法保留更多细节。典型做法包括动态分辨率输入多 tile 组织更强视觉编码器对 OCR / 文档 / chart 做专项训练2这类路线的优势细节任务更稳如果你测试的是这些任务页面级文档问答小字识别长图解析表格与图表读取多图拼接理解这类模型通常会比简单单图低分辨率路线更稳。3代价也很直接token、显存、延迟都会更重这是所有高分辨率路线绕不开的现实。因为只要你保留更多视觉细节就几乎一定会带来更多视觉 token更重的 prefill更高的显存占用更差的多并发能力所以这类模型通常更适合高价值任务对精度要求高的企业场景愿意为图像理解质量支付更多算力成本的系统而不一定适合那种低价高并发的轻聊天服务。七、为什么有的模型擅长通用对话有的模型擅长文档/OCR这个问题很关键。很多人容易误以为文档、OCR、图表理解只是“看图能力更强一点”的结果。其实不是。它们在训练和结构上往往就是不同任务。1通用对话更依赖语言主干和多模态指令跟随能力如果任务主要是图像描述开放问答聊天式交互多轮追问那么语言主干质量和多模态指令数据会非常关键。这类场景里语言表达自然、逻辑清晰、追问稳定往往比 OCR 每个字都准更重要。2OCR / 文档更依赖高分辨率视觉输入和专项训练如果任务变成识别小字号文字读取票据、合同、课件理解表格和复杂排版对截图中的按钮、字段、位置做判断那决定结果的关键就变成视觉细节是否保住是否做了 OCR / DocVQA / ChartQA 类训练是否支持更适合文档的分辨率与输入组织3所以“谁更强”本来就是任务相关问题如果你做的是商品图问答也许 LLaVA 风格模型已经够用。如果你做的是中文发票、PPT、论文截图和表格问答那很多时候更该优先看 Qwen-VL、InternVL 这类更偏复杂图文任务的路线。如果你做的是端侧助手那 MiniCPM-V 可能比“大而全”的路线更合适。这也是为什么多模态选型不能只看一个总榜。八、从参数视角看这些模型到底该重点盯哪些配置如果你准备部署或微调主流 VLM我建议重点关注以下参数。1图像分辨率这是最直接影响视觉细节和成本的参数。你要看默认输入分辨率是多少是否支持动态分辨率是否支持多 tile分辨率上升后 token 增长是否线性可控2视觉 token 数量很多论文不会把它讲得特别直白但工程上必须算。因为它直接影响prefill 时延显存占用多图能力上下文窗口压力3projector / connector 规模这会影响视觉信息传输能力模态对齐质量微调难度训练稳定性如果 connector 太弱模型容易“看得到大概看不准细节”。4上下文长度多模态系统的上下文常常不只是文本窗口。你要把这些一起算进去图像 tokenOCR 生成的中间文本用户历史轮次模型输出长度很多线上事故本质上都是上下文预算没算清楚。5量化位宽与推理框架兼容性比如FP16BF16INT84bit AWQ / GPTQ / GGUF你要看量化后OCR 是否明显掉点图像细节理解是否恶化推理框架是否支持视觉模块KV cache 和多模态前处理是否兼容VLM 的量化通常比纯文本 LLM 更敏感。因为视觉误差一旦放大很容易直接影响最终回答。九、如果让我按场景给建议我会怎么选这里我给一个工程化的粗分法。1如果你要做低门槛通用图文聊天原型优先看LLaVA 路线社区成熟的轻量多模态模型原因是好接资料多推理栈成熟足够做 demo 和原型2如果你要做中文图文助手、截图问答、文档解析优先看Qwen-VL 系InternVL 一类更偏复杂视觉任务的模型原因是语言和多模态整体平衡更好对中文和复杂任务通常更友好更适合真实产品交互3如果你要做资源受限部署优先看MiniCPM-V 这类轻量高效路线原因是单位成本更优更适合本地/边缘部署更容易在有限 GPU 或端侧资源下落地4如果你要做高精度文档、OCR、多图高分辨率任务优先看更强调高分辨率输入和文档能力的路线能处理 tile / dynamic resolution 的模型原因是这类任务本质上吃视觉细节简单单图低分辨率模型很容易不稳换句话说选型不要问“社区最火的是谁”。而要问你的输入长什么样、任务长什么样、预算长什么样。十、部署落地时主流 VLM 最常见的几个坑1只看 benchmark不看真实输入分布很多模型在公开 benchmark 上很强但你的业务图片可能是手机截图长网页Excel 导出图模糊拍照带水印压缩图这时公开分数未必能代表真实效果。2只看参数量不看视觉 token 成本有时候小模型配高分辨率多图输入实际成本并不比中模型低。因为视觉 token 才是吞吐杀手之一。3忽略图像预处理的一致性比如resize 方式不同长宽比拉伸tile 顺序不一致图像归一化处理不统一这些都可能让线上效果波动非常大。4把纯文本推理经验直接套到多模态上纯文本 LLM 里常用的一些优化思路到了 VLM 上未必直接适用。因为你还要额外考虑视觉前处理耗时图像 token 注入方式多模态 cache 行为量化对视觉模块的影响所以 VLM 部署一定要单独做 profiling。十一、最后总结主流 VLM 模型之间的差别表面上看是“名字不同、底模不同、参数不同”。但从工程视角看真正决定体验的是下面这几组取舍视觉 backbone 强不强图像分辨率和视觉 token 预算怎么控制模态桥接模块是轻量优先还是表达优先训练数据偏通用对话还是偏 OCR / 文档 / 高分辨率任务部署目标是大模型服务还是轻量端侧落地如果用一句话概括LLaVA 更像“结构清晰、工程友好的通用接法”Qwen-VL 更像“语言与多模态整体平衡更强的通用助手路线”MiniCPM-V 更像“资源受限条件下追求单位成本效率的路线”而 InternVL 一类则更偏“把视觉细节和复杂图文任务能力往上顶”。所以别再笼统地问“谁最强”。更应该问你的任务是通用图文聊天还是文档/OCR你的部署预算是单卡、本地还是多卡服务你最怕的是延迟、显存还是精度不稳这些问题想清楚模型选型会容易很多。彻底展开。