🧠 基础概念

Multimodal AI（多模态 AI）

别名：多模态AI多模态模型视觉语言模型VLM多模态理解

Multimodal AI 是能够同时处理和理解多种数据类型（文本、图像、音频、视频）的 AI 系统。2026 年主流 AI Agent 均支持多模态输入，显著扩展了 Agent 的感知能力。

关键要点 ✦

多模态 AI（Multimodal AI）是指能够同时处理和理解多种数据类型的 AI 系统。传统的 LLM 只能处理文本，多模态模型则能「看」图像、「听」音频、「读」文档。

在 AI Agent 场景中，多模态能力使 Agent 可以：查看 UI 截图来操作软件、分析图表和可视化数据、理解手绘草图和白板设计、处理 PDF 和扫描文档、识别代码截图中的错误。

GPT-4o（OpenAI）：原生多模态，支持文本+图像+音频输入，2026 年是最广泛使用的多模态模型。

Claude 4（Anthropic）：文本+图像，在代码和多文档理解场景表现优异。

Gemini 2.5 Pro（Google）：支持文本+图像+音频+视频，具备最全面的多模态能力。

Qwen-VL-Max（阿里）：中文场景表现最强，支持高分辨率图像理解。

多模态能力催生了 Computer Use（计算机使用）模式——Agent 通过截取屏幕截图来理解 GUI 界面，然后模拟鼠标键盘操作。Claude 的 Computer Use 和 Gemini 的 Computer Use 是代表产品。

2026 年 Computer Use 的任务完成率约 65%，仍低于人类的 95%，但在表单填写、数据录入等结构化任务上已接近人类水平。

看图编程

Cursor/Claude Code 通过分析 UI 截图直接生成对应代码，无需人工描述视觉细节。

文档分析

Agent 理解 PDF、扫描件中的表格、图表和手写内容，提取结构化信息。

GUI 自动化

Agent 截取屏幕截图进行界面操作，实现跨应用的复杂工作流自动化。

多模态是 AI Agent 发展的核心方向。2027 年之前，主流 Agent 将支持实时视频理解、3D 空间感知和触觉反馈。Agent 的感知能力将从「像人类一样看」进化为「超越人类的感知」。

🏷️ 标签多模态视觉VLMGPT-4oClaude 4Agent感知