综合评测基准

VQAv2 任务的主要评估指标是什么？它的“投票”机制如何平衡不同人工答案的歧义？¶

VQAv2 采用了一种软准确率作为核心评估指标。它的设计动机源于一个基本事实：即使是人类，面对同一张图像和同一个问题，给出的答案也常常不一致。一张图问“桌子上有什么？”，有人回答“苹果和书”，有人回答“水果和书”，还有人只答“苹果”。如果只用僵硬的精确匹配，后两种人类回答都会判错，这显然不合理。

投票机制是 VQAv2 处理答案歧义的基石。数据集中每个问题收集了10个不同人的答案，而非单一答案。评估时，对模型预测的答案不直接打0分或1分，而是计算它在这10个人中获得的票数比例。如果模型输出“苹果”，它在10票中占了6票，就得到0.6分。这种分数平滑地反映了答案与人类共识的重合程度，哪怕不是最主流的表述也能获得部分认可。

最终，整个数据集的得分是所有问题的分数总和除以问题总数。VQAv2 对每个问题配有两张不同图像但问题相同，模型必须在这两张对比图像上都答对才算整体正确，这强制模型依赖视觉信息而非盲猜。正是这种“投票平衡加对比图像”的双重设计，使 VQAv2 成为检验视觉语言模型是否真正在看图的试金石。

GQA 数据集的设计目标是什么？如何评估模型的组合推理能力？¶

GQA 的设计直指 VQA 数据集的核心软肋——模型可能凭借文本捷径和统计偏差获得高分，而非真正理解视觉场景。GQA 的目标是构建一个能系统性地评估模型组合推理能力的问答基准，让模型不能蒙混过关。

GQA 的独特之处在于其底层的场景图结构。它基于 Visual Genome 的场景图，每张图像都被精确标注了物体、属性和物体间的关系。问题不是人工随意提出的，而是通过一套规则引擎从事先构建的场景图中自动生成的。这带来两个核心优势：第一，每个问题都关联了一个明确的推理程序，例如“选择所有红色的物体→从中找出苹果→回答其数量”，这串操作步骤被记录下来；第二，问题的答案有坚实的结构化依据，大大减少了标注歧义。

评估组合推理能力时，GQA 不是笼统地给一个准确率，而是按推理步骤数和推理类型分解指标。它定义了若干推理维度：

属性识别：只涉及单一物体的单一属性，如“苹果是什么颜色？”。
空间关系：需要判断物体的相对位置，“汽车左边的物体是什么？”。
逻辑操作：涉及“与”、“或”、“非”的组合，“图中既有猫又有狗吗？”。
比较：比较两个物体的属性，“苹果和香蕉哪个更大？”。
多步推理：需要串联多个上述操作。

GQA 评估报告中会单独列出每个维度的准确率。一个只在简单属性上高分但空间推理极差的模型，总分数会被拉低。这种细粒度的诊断能力让研究者能够精确知道模型的推理瓶颈在哪里。GQA 还通过平衡开放和封闭问题的分布，以及去除训练集中明显的语言捷径，进一步强化了其作为推理能力试金石的地位。它真正逼着模型学会“看图思考”，而不是“看题猜词”。

TextVQA 和 DocVQA 分别侧重什么能力？对文字识别和理解分别提出什么要求？¶

两者都聚焦于图像中的文字，但处理的文字性质、语义深度和任务目标截然不同。

TextVQA 侧重场景文字的理解和浅层语义关联。图像中的文字是自然场景的一部分——商店招牌、车牌、T恤标语、海报标题。这些文字往往简短、字体多样、存在透视变形和遮挡。模型的任务是识别这些文字，并理解它们与图像场景的关联以回答问题。例如，一张街景照片中有一家“STARBUCKS”招牌，问“这是什么店？”，模型需要完成“检测文字区域→识别字母序列→理解该词是一个咖啡店品牌→输出答案”的完整链条。TextVQA 要求模型具备鲁棒的场景文字检测和识别能力，但对文字语义的理解停留在词或短语级别。

DocVQA 侧重结构化文档的深度语义理解和信息抽取。图像通常是扫描的文档——发票、合同、报告、表格、图表。文字密集且分布在整个页面上，字体相对规整但排版复杂。任务需要模型从大段文本中定位、理解并推理出答案。例如，一张发票照片问“税后总额是多少？”，模型必须在密密麻麻的数字和标签中找到“税后总额”对应的数值。DocVQA 对文字识别本身要求极高精度，但更关键的是对文档布局结构的理解、表格的解析、以及对长文本中实体关系和信息层次的内在把握。

简言之，TextVQA 像在街头匆匆一瞥读懂标识，DocVQA 像在办公桌前仔细审阅文件。前者考的是视觉鲁棒性和快速关联，后者考的是结构化阅读和深层语义提取。两者的边界在于：文字是图像中的“场景元素”还是“核心内容载体”。

MMBench 是如何评估多模态对话模型的？题库构成和评测流程是怎样的？¶

MMBench 是一个专门为多模态大语言模型（MLLM）设计的综合性评测基准。它不只是给模型一个分数，而是要系统性地描绘出模型各项能力的雷达图。

题库构成方面，MMBench 手工收集并精心筛选了约3000道单选题，覆盖了20个细粒度能力维度。这些维度可归为几大类：

感知能力：包括粗粒度的物体识别、细粒度的属性识别（颜色、材质、纹理）、空间关系判断（上下、左右、里外）、以及文字识别。
推理能力：包括属性比较（哪个更大/更亮）、物理关系推理、功能推理（图中物体的用途）、因果推理、社会关系推理等。
知识类：百科全书知识、常识推理、领域知识（如艺术、科学）。

每道题都是标准的四选一，由一个图像、一个问题、四个候选答案构成。选项经过精心设计，既包含了迷惑性强的干扰项，也确保了唯一正确答案。题库的难度分布是分层的，既有入门级感知题，也有需要深层推理的难题。

评测流程的独特之处在于其全自动化和多样化的能力剖析。它将准备好的题目逐条输入模型，模型输出答案文本。由于MLLM的输出是自由文本而非固定选项，MMBench使用 ChatGPT 作为答案匹配器，将模型回答自动映射到A、B、C、D选项之一。这种设计模拟了真实用户的交互方式，也测试了模型的指令遵循能力。

最终不是给一个总分了事，而是生成一个详细的能力雷达图。开发者在圆形图上能一目了然：模型在哪些感知维度强，哪些推理维度弱，整体形状是否均衡。这种设计让模型诊断从“总分竞赛”变成了“能力体检”，是该领域评估方法论上的重要进步。

MMMU 基准有哪些独特设计？为什么难度很高？¶

MMMU 的全称是多模态大规模多学科理解基准，它被公认为当前最困难的多模态评估之一。其独特设计和极高难度来源于对现实专业场景的高度仿真。

独特设计：

学科广度与专业深度：MMMU 覆盖了大学水平的六大类学科——艺术、商业、医学、科学、人文、工程，再细分为30个子学科。问题来源是真实的大学考试题、教材习题和权威在线资源，而非人工为AI定制。这意味着每道题都自带该学科的专家级知识门槛。
多模态异质性：不同类型的题目包含迥异的视觉信息。医学题可能有CT扫描图和组织病理切片，艺术史题是名画高清扫描，工程题是复杂的电路图和机械设计图纸，金融题是密集的表格和趋势图。模型不能依赖单一的视觉识别能力，必须灵活应对高度专业化的视觉表征。
题目格式多样：既有单选题，也有多选题，甚至有需输出确切数值或公式的简答题。这要求模型不仅能选对，还要精确生成专业格式的答案。
跨模态深度推理：很多题目不能仅靠识别图中有什么来回答。例如，给一段乐谱问和弦进行，给一张财报问公司现金流状况，给一个化学结构式问反应产物。这些都需要将视觉符号翻译为领域特定的专业知识，并在该知识体系内进行多步推理。

为什么难度极高：

现有最强的多模态大模型（包括GPT-4V）在MMMU上的准确率也远低于人类专家水平。因为当前模型在预训练数据中接触的多是通用自然图像和日常文本，面对专业领域的视觉符号（如五线谱、电路符号、分子结构）极度缺乏训练，无法将其转化为有意义的内部表示。同时，大学水平的问题往往需要该学科数年知识积累形成的深层推理链条，这不是简单的图文匹配或常识推理能达到的。MMMU 揭示的不是模型某个能力维度的不足，而是当前多模态智能与专业领域人类认知之间的系统性鸿沟。

SEED-Bench 主要评估多模态模型的哪些维度？¶

SEED-Bench 是一个巨型的多模态大模型评估基准，含有近两万道单选题，其核心理念是覆盖人类智能的多个空间层级。它不满足于简单物体识别，而是试图评测模型是否具备了接近人类的多层次视觉理解。

它的评估维度可以归纳为两大空间：

图像空间理解。这个层级考察模型对视觉内容本身在各个粒度上的理解能力：
物体与属性：最基础的物体识别、属性判断（颜色、材质、大小、状态）。
空间关系：物体间的相对位置，以及全局场景的空间布局。
实例计数：精确计数同类物体。
文字与OCR：识别图像中的文字，理解其语义。
推理空间理解。这个层级考察模型基于视觉内容进行逻辑推断的能力：
实例交互与功能：理解物体之间正在发生什么交互，以及物体的功能用途。
因果与时序推理：推断当前场景的前因后果，或者事件发生的先后顺序。
社会关系与意图：识别图像中人物之间的社会关系，推断人物的意图和情绪。
知识推理：利用外部知识来回答仅靠图像无法解决的问题。比如，问图中标志性建筑的所在地。

SEED-Bench 的评估特色在于精细化的能力标签。每道题在出题时就被标注了上述多个能力标签，因此最终的评估报告可以精确显示模型在各个子维度上的成绩，形成一个详细的能力矩阵。这比单一总分更能指导模型优化。

在视频理解评估中，Video-MME 会考察哪些时间维度的能力？¶

Video-MME 是第一个全面的多模态大模型视频理解评测基准，它最大的贡献是把“时间理解”从笼统的概念拆解成了可量化的具体维度。

它考察的时间维度能力包括：

瞬时动作识别：在某一帧或极短的几帧内发生的动作。比如“画面中的人在这一瞬间是在挥手还是在拍手？”。这考察模型对单帧细节的捕捉能力，不涉及跨时间的运动理解。
时序动作定位与描述：识别在哪个时间段发生了什么动作。“视频中的人什么时候开始喝水？”。这要求模型理解事件发生的起止时间点，将动作与具体的时间片段对应。
动作顺序与过程理解：理解一系列动作的先后逻辑顺序。“他在吃饭之前做了什么？”。这需要模型能按时间轴串联多个片段的事件，并理解它们之间的因果关系。
时序计数：对一段时间内发生的动作次数进行精确计数。“视频里的人一共鼓了几次掌？”。这是动态版本的“物体计数”，极易出错，因为需要模型在时间维度上进行精确的帧间比对。
变化检测：识别场景或物体在一段时间内的状态变化。“衣服的颜色在视频过程中变了吗？”。这要求模型具备跨帧的记忆和比较能力。
长时视频总结与理解：处理长达几十分钟的视频，理解整体故事线、主题或提取关键情节。这考察模型处理极长时间跨度的信息压缩和摘要能力。

Video-MME通过精心构造覆盖上述维度的测试样本，能够精准诊断MLLM在视频理解上是只擅长看单帧截图，还是真正理解了时间流动中的动态世界。目前，多数模型在前几个短时能力上尚可，但在长时推理和变化检测上仍有很大差距。

OKVQA 要求利用外部知识，评估时如何区分知识缺失和视觉理解错误？¶

OKVQA 的问题都明确要求模型利用图像之外的常识或百科知识来回答。比如，图像是一只黑白相间、体型肥硕的鸟，问“这种鸟为什么不会飞？”。模型需要认出这是鸮鹦鹉，并调动“鸮鹦鹉不会飞”的知识。答错有两种可能：一是模型根本不认识鸮鹦鹉（视觉识别失败）；二是模型认识它，但不知道它不会飞（知识缺失）。区分两者对模型诊断至关重要。

评估时通常通过多级探测来解耦：

视觉识别探针：首先单独测试模型的视觉识别能力。可以给出“这是什么动物？”这类纯粹的视觉问题，或者让模型输出对图像中物体的详细描述。如果模型不能正确地命名出“鸮鹦鹉”或“一只肥胖的鸟”，说明视觉编码存在根本问题，后续的知识推理无从谈起。对于这个子集，模型错误归因于“视觉理解错误”。
知识覆盖度测试：对于已经确认视觉识别正确的样本子集，如果模型依然答错，那么大概率是知识缺失。为了更精确，可以构造一个“纯文本”对照测试：不给图像，直接问“鸮鹦鹉为什么不会飞？”。如果纯文本也答错，那么可以确认为知识缺失；如果纯文本答对而看图却答错，则很可能存在从正确视觉概念到正确知识检索的关联失败，这是一种更隐蔽的跨模态推理缺陷。
检索增强对比：在测试时，给模型提供包含相关知识的外部百科文档（如RAG方式），观察准确率是否显著提升。如果加了知识后大幅好转，说明瓶颈在模型内化的知识不足。

通过这种分层诊断，OKVQA不仅给出了分数，还能帮助开发者理解模型到底是在“眼睛”上出问题，还是在“脑子”的知识库里找不到东西，或者两者之间的“神经通路”不通畅。

多模态推理评估基准（如 ScienceQA）一般包含哪几类问题？¶

ScienceQA 是一个典型的多模态科学推理基准，它的题型设计紧密围绕科学教育中的核心素养。问题通常包含一个文本题干、一幅相关的科学示意图（图表、实验装置、自然现象照片等），以及多个选项。它包含的问题类型覆盖了完整的认知梯度：

事实性知识问题：考察对科学概念的直观记忆和理解。如“哪种动物是哺乳动物？”，图像展示几种动物的照片。这是最基础的层次，考察视觉与概念的匹配。
视觉解释与数据读取：要求从图表、示意图中提取信息。给出一张植物生长高度随天数的折线图，问“第五天植物有多高？”。考察模型将视觉编码转化为数值或文字信息的能力。
科学实验与因果关系推理：展示一个实验装置图，问“这个实验是为了验证什么假设？”或“如果改变某个条件，会发生什么？”。这要求模型理解图中的各个组件如何相互作用的物理机制。
跨模态知识应用：文本描述一个科学现象，图像是该现象的微观或抽象图示。如“水的三态变化”，图是分子排列示意图。模型需要将文本中的抽象概念与图像中的符号化表达对应起来，进行推理解释。
多步计算与分析：结合图表数据进行计算。如给出物质质量随时间变化的表格和曲线图，问化学反应速率，要求模型从图中读取关键数据并进行计算。

ScienceQA 的独特之处在于每个问题都标注了背后的技能标签和讲座文本，这使得它可以用于评估模型在给定教学材料下的学习能力，而不仅是零样本知识储备。评估报告也常常按这些题型拆解，清晰展示模型在从记忆到推理的各个阶梯上的表现。

VQA 准确率高不一定代表模型真正理解，请举几个反映“捷径学习”的例子。¶

捷径学习是指模型在训练中学会了利用数据中的统计偏差和假性关联来答题，而不是真正通过视觉理解。以下是 VQA 中的经典捷径案例：

案例一：颜色问题投机取巧。早期 VQA 数据集中，问“香蕉是什么颜色？”，由于训练数据里 90% 以上的香蕉是黄色的，模型学会了无论看到什么香蕉图片，一律回答“黄色”。即使给一张绿色的未成熟香蕉或黑白滤镜下的香蕉图片，模型仍机械答“黄色”。它根本没看图，只是记住了训练集的先验分布。在VQAv2中通过为每个问题配对比图像强制模型必须看图像，这种捷径被大幅削弱。

案例二：背景相关性陷阱。数据集中，所有“滑雪”的照片背景都是白茫茫的雪地，“冲浪”的背景是蓝色海洋。模型可能完全不看人的姿态和装备，一看到大片白色区域就猜“滑雪”，大片蓝色就猜“冲浪”。当滑雪者在室内滑雪场（背景不是雪）时，模型就会出错。它学会的是场景整体色调与运动类型的虚假关联，而非对人体动作本身的理解。

案例三：物体共现偏置。数据集中，“杯子”和“桌子”常常同时出现，“牙刷”和“洗手间”高度绑定。当问“图中牙刷旁边的物体是什么？”，模型可能因为看到了洗手间的瓷砖墙壁，就直接猜“杯子”，因为“牙刷”和“杯子”在训练数据的卫生间场景中高度共现。即使图中牙刷旁边放的是个从未见过的奇怪物品，模型也会倾向于回答数据集中最常见的共现物体。

案例四：文本问题本身的捷径。对于“有多少个？”这类以“How many”开头的问题，训练集中绝大多数答案是“2”或“3”。模型可能学会了只要看到“How many”，不看图像就在“2”和“3”中随机选一个，准确率竟能超过随机基线很多。另外，对“运动”类问题，答案“网球”可能因出现频率极高而被模型不分图像地高频输出。

这些捷径源于训练数据中人类提问和回答模式的无意偏差。模型只是在做高维的模式匹配，而非真正的视觉理解。评估时需要专门的平衡测试集（如VQAv2对比集、VQA-CP）和诊断性探针来暴露这些问题，否则高准确率的背后可能是一座根基不稳的空中楼阁。