继 ChatGPT 之后，OpenAI 直播展示了 GPT-4 强大的支持 visual input 的多模态能力，虽然视觉输入目前还没大规模开放使用。随后学术界和工业界也纷纷把目光聚焦到多模态大模型（主要是视觉语言模型）上，比如学术界的 LLaMA-Adapter 和 MiniGPT-4，以及工业界最具代表的来自谷歌的 Bard，而且 Bard 已经后来居上开放大规模用户使用。但是学术界发布的模型大多只在部分多模态能力（少数相关数据集）上进行了评估，而且也缺少在真实用户体验上的性能对比。Bard 开放视觉输入之后也没有给出官方的多模态能力报告。
在此背景下，我们首先提出了多模态大模型多模态能力的全面评估框架 LVLM-eHub，整合了 6 大类多模态能力，基本涵盖大部分多模态场景，包括了 47 + 个相关数据集。同时发布了模型间能力对比的众包式用户评测平台多模态大模型竞技场，让真实用户来提问和投票哪个模型表现得更好。
- LVLM-eHub 论文地址：https://arxiv.org/abs/2306.09265
- Multi-Modality Arena：https://github.com/OpenGVLab/Multi-modality-Arena
- 项目网址：http://lvlm-ehub.opengvlab.com/
在此基础上我们还将原有每个数据集精简到 50 个样本（随机采样），推出 Tiny LVLM-eHub，便于模型快速评估和迭代。设计了更加准确稳健并且与人类评估结果更加一致的评估方法，集成多样评估提示词下的 ChatGPT 评估结果（多数表决）。最后同时加入了更多多模态大模型，其中谷歌的 Bard 表现最为出色。
- Tiny LVLM-eHub 论文地址：https://arxiv.org/abs/2308.03729
- Multimodal Chatbot Arena：http://vlarena.opengvlab.com
多模态能力与数据集
我们整合了 6 大类多模态能力：
a. 视觉感知（visual perception）
b. 视觉信息提取（visual knowledge acquisition）
c. 视觉推理（visual reasoning）
d. 视觉常识（visual commonsense）
e. 具身智能（Embodied intelligence）
f. 幻觉（Hallucination）
前两类涉及到基础的感知能力，中间两类上升到高层的推理，最后两类分别涉及到将大模型接入机器人后的更高层的计划和决策能力，和在大语言模型（LLM）上也很危险和棘手的幻觉问题。
具身智能是大模型能力的应用和拓展，未来发展潜力巨大，学术界和工业界方兴未艾。而幻觉问题是在将大模型推广应用过程中众多巨大风险点之一，需要大量的测试评估，以协助后续的改善和优化。
六大多模态能力结构图
多模态大模型竞技场
多模态大模型竞技场是一个模型间能力对比的众包式用户评测平台，与上述的在传统数据集上刷点相比，更能真实反映模型的用户体验。用户上传图片和提出相应问题之后，平台从后台模型库中随机采样两个模型。两个模型分别给出回答，然后用户可以投票表决哪个模型表现更佳。为确保公平，我们保证每个模型被采样的几率是相同的，而且只有在用户投票之后，我们才展示被采样模型的名称。流程样例见下图。
多模态大模型竞技场示意图
评估方法
评估方法示意图
LVLM-eHub 默认使用 word matching（只要真实答案出现在模型输出中，即判断为正确）来做快速自动评估。特别地，对于 VCR 数据集，为了更好地评估模型性能，我们采用了 multi-turn reasoning 评估方法：类似 least-to-most 提示方法，首先经过多轮的 ChatGPT 提出子问题和待评估模型给出回答，最后再回答目标问题。另外对于具身智能，我们目前完全采用人工的方式，从 Object Recognition、Spatial Relation、Conciseness、Reasonability 和 Executability 五个维度进行了全方位评估。
多提示词投票评估方法
Tiny LVLM-eHub 设计并采用了多提示次投票评估 评估方法，可以克服词匹配评估方法的缺陷，具体来说，词匹配在以下两个场景下都会失效：（1）模型输出中可能出现包括真实答案在内的多个答案；（2）模型输出与问题的参考答案在语义上是相同的，只是表述不同。
基于 ChatGPT 的多指令集成评估方法示意图
另外我们通过实验（结果见下表）发现我们提出的评估方法与人类评估结果更加一致。
CEE 评估方法和词匹配方法与人类评估一致性的比较
评估结果
在传统标准数据集（除了具身智能的其他 5 大类多模态能力）上，评估结果显示 InstructBLIP 表现最佳。通过对比模型训练数据集之间的差异，我们猜测这很可能是因为 InstructBLIP 是在 BLIP2 的基础上再在 13 个类似 VQA 的数据集上微调得到的，而这些微调数据集与上述 5 类多模态能力相应的数据集在任务和具体数据形式和内容上有很多相同点。反观在具身智能任务上，BLIP2 和 InstructBLIP 性能最差，而 LLaMA-Adapter-v2 和 LLaVA 表现最好，这很大程度上是因为后者两个模型都使用了专门的视觉语言指令遵循数据集进行指令微调。总之，大模型之所以在众多任务上泛化性能很好很大程度上是因为在训练或微调阶段见过相应任务或者相似数据，所以领域差距很小；而具身智能这种需要高层推理、计划乃至决策的任务需要 ChatGPT 或 GPT-4 那种逻辑性、计划性和可执行性更强的输出（这一点可以在下面 Bard 的评估结果上得到印证：Bard 的具身智能能力最好）。
LVLM-eHub 中八大模型在六大多模态能力上的性能图
截止目前，我们在多模态大模型竞技场平台收集了 2750 个有效样本（经过过滤），最新的模型分数和排名见下表。从真实用户体验上来看，InstructBLIP 虽然在传统标准数据集（除了具身智能的其他 5 大类多模态能力）上表现最好，但在 Elo 排名欠佳，而且 BLIP2 的用户评价最差。相应地，在经过 ChatGPT 优化过的指令遵循数据集上微调之后，模型输出更受用户青睐。我们看到，在高质量数据上指令微调后的模型 Otter-Image 居于榜首，在 Otter 模型的基础上实现了质的飞跃。
多模态竞技场模型排行榜
在 Tiny LVLM-eHub 上，Bard 在多项能力上表现出众，只是在关于物体形状和颜色的视觉常识和目标幻觉上表现欠佳。Bard 是 12 个模型中唯一的工业界闭源模型，因此不知道模型具体的大小、设计和训练数据集。相比之下，其他模型只有 7B-10B。当然我们目前的测试大都是单轮问答，而 Bard 支持多轮对话。相信 Bard 的能力不止于此，仍需要挖掘。
Bard Demo
Bard 很好地理解了图像的不寻常之处，拥有类似于人类的理解能力。它甚至可以根据图像做出关联，指出生活与艺术之间的关系。
Bard 相对较好地理解了复杂的食物链，并且回答了问题（在图中以蓝色标出），同时给出了超出问题范围的对食物链的更详细解释。
Bard 具有一定的多模态推理能力，可以正确回答那些需要根据图表（蓝色部分）进行一些推理的问题，但在准确识别图片中的详细信息方面仍然存在一些问题（红色部分）。
Bard 可以相对准确地以文字的形式生成目标检框。
与 GPT-4 类似，Bard 具有将手绘的网页设计转化为 HTML 代码的能力，并且更准确地识别网页的布局，甚至成功地将 “照片” 部分识别为需要导入图像的区域。
对于小学数学问题，Bard 错误地理解了问题，并且尽管之后的计算过程是正确的，但它还是给出了错误的答案。
Bard 仍然容易受到幻觉问题的影响。我们发现，如果在提示中提供了某些虚假的线索，Bard 仍然会在其基础上胡言乱语。
我们手动在图像上添加了一条红色的对角十字，然而 Bard 回答说图片中没有红色的物体。此外，奇怪的是，Bard 回答这个问题时好像完全忽略了我们添加的红色十字标记。
未来工作
尽管在 (Tiny) LVLM-eHub 中的评估是全面的，但我们仅评估了各种 LVLM 的多模态能力边界。事实上，LVLM 的评估还必须考虑其他关键因素，如内容安全、偏见和种族歧视等。由于这些模型生成的有偏见或有害内容可能造成潜在危害，因此必须彻底评估 LVLM 生成安全和无偏见内容的能力，以避免持续传播有害刻板印象或歧视态度。特别是，在进一步探索 LVLM 的发展时，应考虑如何增强对视觉常识的理解，并减轻幻觉问题。
