AI 前沿精读

外观

Qwen2.5-VL: To See the World More Clearly ​

原标题: Qwen2.5 VL! Qwen2.5 VL! Qwen2.5 VL! 中文标题: Qwen2.5-VL：更清晰地看见世界——新一代视觉语言旗舰模型

一句话摘要 ​

Qwen 团队于 2025 年 1 月发布 Qwen2.5-VL 视觉语言模型系列（3B/7B/72B），首次引入从零训练的原生动态分辨率视觉 Transformer（ViT）和窗口注意力机制，在文档理解、视觉 Agent、长视频理解等多项任务上达到或超越 GPT-4o 和 Claude 3.5 Sonnet。

核心内容 ​

模型概览 ​

Qwen2.5-VL 是 Qwen 视觉语言系列的最新旗舰版本，提供三个规模的模型：

  • Qwen2.5-VL-72B：旗舰版，对标 GPT-4o 和 Claude 3.5 Sonnet
  • Qwen2.5-VL-7B：在多项任务上超越 GPT-4o-mini
  • Qwen2.5-VL-3B：边缘部署版本，性能超越前代 7B 模型

所有模型均提供 Base 和 Instruct 两个版本，通过 Hugging Face 和 ModelScope 开放下载。

六大核心能力 ​

1. 视觉识别 模型能够识别从动植物、建筑地标到影视角色和商业产品的广泛对象。更重要的是，它擅长分析图像中的文字、图表、图标、图形和布局——这对文档智能至关重要。

2. 视觉 Agent Qwen2.5-VL 可以直接作为视觉 Agent 运行，具备推理和动态调用工具的能力。它支持计算机使用（Computer Use）和手机使用（Phone Use）两种 Agent 模式，能够理解屏幕内容并执行操作。

3. 长视频理解 支持超过 1 小时的视频理解，并引入了事件定位（Event Localization）新能力——能够在长视频中精确定位与查询相关的片段，而非简单地对整段视频做摘要。

4. 空间定位 通过边界框（Bounding Box）或坐标点精确定位对象，输出格式化的 JSON 结构化数据。坐标使用实际图像尺寸而非归一化值，提高了工程应用的便利性。

5. 文档智能 高效处理发票、表格和表单，生成结构化输出，直接服务于财务和商业场景。支持图表、流程图和复杂布局的深度分析。

6. 多语言文字识别 在图像中的多语言 OCR 能力显著提升，能够处理包括中文、英文、日文等多种语言混合的文档。

技术架构创新 ​

原生动态分辨率 ViT Qwen2.5-VL 首次采用从零训练的原生动态分辨率 Vision Transformer，不再依赖固定分辨率的预训练视觉编码器。模型将不同尺寸的图像动态转换为对应长度的 Token 序列，实现了真正的"原始分辨率理解"。

窗口注意力（Window Attention） 在视觉编码器中引入窗口注意力机制，显著降低计算开销的同时保持原生分辨率处理能力。这使得模型能够高效处理高分辨率图像，而不会因全局注意力导致计算量爆炸。

动态帧率采样（Dynamic FPS） 将动态分辨率的理念扩展到时间维度——通过动态帧率训练，模型可以根据视频内容的复杂度自适应地选择采样密度。

绝对时间编码（Absolute Time Encoding） 在时间维度升级了 MRoPE（Multi-Resolution Rotary Position Embedding），通过对齐绝对时间来实现更精细的时序学习。这意味着模型能够理解视频中事件的实际时间间隔，而非仅仅知道帧的先后顺序。

基准测试表现 ​

72B-Instruct 版本的关键指标：

  • MMMU：70.2（多模态综合理解）
  • DocVQA：96.4（文档视觉问答）
  • VideoMME：73.3/79.1（视频多模态评估）
  • 在数学推理、文档理解和视觉 Agent 任务上全面领先

技术要点 ​

  1. 原生动态分辨率 ViT：从零训练视觉编码器，摆脱固定分辨率的预训练范式，实现真正的"像素级理解"
  2. 窗口注意力优化：在保持原生分辨率的前提下，通过窗口注意力将视觉编码器的计算复杂度从 O(n²) 降至 O(n·w)，使高分辨率图像处理成为可能
  3. 时空统一建模：动态帧率采样 + 绝对时间编码，将图像和视频在同一框架下统一处理，避免了传统方法中图像和视频需要不同处理流水线的问题
  4. 语言能力保持：在大幅提升视觉能力的同时，保持了底层 Qwen2.5 LLM 的核心语言能力不降级——这在视觉语言模型中并不容易做到
  5. 实际坐标系统：对象定位使用实际图像坐标而非归一化值，简化了下游工程集成

深度解读 ​

Qwen2.5-VL 代表了视觉语言模型从"看图说话"到"理解并行动"的关键跃迁。

从感知到行动的闭环：Computer Use 和 Phone Use 能力意味着模型不仅能理解屏幕上的内容，还能执行点击、输入等操作。这直接将视觉语言模型推向了 GUI Agent 的前沿——与 Anthropic 的 Claude Computer Use 形成正面竞争。

动态分辨率的深远意义：传统 VLM 将所有图像 resize 到固定分辨率（如 336×336），这会导致小字、复杂图表的信息丢失。Qwen2.5-VL 的动态分辨率方案从根本上解决了这一问题，使其在文档理解和细粒度视觉任务上获得显著优势。

3B 模型超越前代 7B 的启示：这说明视觉编码器架构的改进（原生动态分辨率 ViT + 窗口注意力）带来的收益，甚至可以弥补模型参数量的差距。架构创新的价值在此得到了充分验证。

边缘部署的战略意义：3B 版本面向边缘设备（手机、IoT），意味着 Qwen 希望将视觉理解能力推向端侧。在隐私敏感场景（如医疗影像、工业质检）中，本地运行的小模型比云端大模型更具吸引力。

延伸思考 ​

  1. 视觉 Agent 的安全边界在哪里？ 当模型可以操作计算机和手机时，如何防止误操作或恶意利用？这需要在 Agent 架构层面引入更严格的权限控制和操作确认机制
  2. 动态分辨率训练的成本：从零训练动态分辨率 ViT 需要大量高质量、多分辨率的图像数据，数据收集和清洗的成本可能是限制其他团队跟进的主要瓶颈
  3. 开源 VLM 的生态竞争：Qwen2.5-VL、LLaVA、InternVL 等开源 VLM 形成了激烈的竞争格局，谁能率先在真实应用场景（而非基准测试）中证明价值，谁就能赢得开发者社区

原文链接:

全球顶尖 AI 实验室博客的中文翻译与深度解读 · 210+ 篇文章 · 15+ 实验室

© 2025-2026 AI 前沿精读