Hello folks，我是 Luga，今天我们来聊一下人工智能(AI)生态领域相关的技术 - GPT-4o 模型 。
在 2024 年 5 月 13 日，OpenAI 创新性地推出了其最先进、最前沿的模型 GPT-4o，这是标志着人工智能聊天机器人和大型语言模型领域实现重大飞跃的突破性举措。预示着人工智能能力的新时代 ，GPT-4o 拥有显着的性能增强，在速度和多功能性方面都超越了其前身 GPT-4。
这一突破性的进步解决了经常困扰其前身的延迟问题，确保了无缝且响应迅速的用户体验。
什么是 GPT-4o ?
在2024年5月13日，OpenAI 发布了其最新、最先进的人工智能模型 GPT-4o，其中的"o"代表"omni"，意为"所有"或"通用"。这款模型是基于 GPT-4 Turbo 构建的新一代大语言模型。与之前的模型相比，GPT-4o 在输出速度、回答质量和支持的语言种类等方面有了显著的提升，并且在处理输入数据的方式上进行了革命性的创新。
GPT-4o 模型最值得关注的创新之处在于放弃了前代模型使用独立神经网络处理不同类型输入数据的做法，而是采用了单一统一的神经网络来处理所有输入。这一创新设计赋予了 GPT-4o 前所未有的多模态融合能力。
传统的语言模型通常只能处理纯文本输入，无法处理语音、图像等非文本数据。然而，GPT-4o 不同寻常，它能够同时检测和解析语音输入中的背景噪音、多重声源、情感色彩等非文本信号，并将这些多模态信息融合到语义理解和生成过程中，从而产生更丰富、更符合上下文的输出内容。
除了处理多模态输入，GPT-4o 在生成多语种输出时也展现出了出色的能力。它不仅在英语等主流语言上输出质量更高、语法更正确、表述更简洁，而且对于非英语的其他语种场景输出，GPT-4o 也能保持同样的水准。这确保了无论是英语用户还是其他语种用户，都能享受到 GPT-4o 卓越的自然语言生成能力。
总的来说，GPT-4o 的最大亮点在于突破了单一模态的局限，实现了跨模态的综合理解和生成能力。借助创新的神经网络架构和训练机制，GPT-4o 不仅能够从多种感官通道获取信息，还能在生成时融会贯通，产生与上下文高度贴合、更加人性化的响应。
GPT-4o 与 GPT-4 Turbo 性能表现?
GPT-4o 作为 OpenAI 最新推出的多模态大模型，其性能与前代 GPT-4 Turbo 相比，具有质的飞跃。这里，我们可以从如下个关键方面对两者进行对比分析：
1.推理速度
根据 OpenAI 公布的数据，在相同硬件条件下，GPT-4o 的推理速度是 GPT-4 Turbo 的两倍。这种显著的性能提升主要归功于其创新的单一模型架构，避免了模态切换所带来的效率损失。单一模型架构不仅简化了计算流程，还大幅减少了资源开销，从而使得 GPT-4o 能够更快速地处理请求。更高的推理速度意味着 GPT-4o 可以以更低的延迟为用户提供响应，显著提升了交互体验。无论是在实时对话、复杂任务处理，还是在高并发环境下的应用中，用户都能感受到更加流畅和即时的服务响应。这种性能优化不仅提高了系统的整体效率，还为各种应用场景提供了更可靠和高效的支持。
GPT-4o 与 GPT-4 Turbo 延迟对比
2.吞吐量
众所周知，早期的 GPT 模型在吞吐量方面表现有点滞后。例如，最新的 GPT-4 Turbo 每秒只能生成 20 个令牌。然而，GPT-4o 在这方面取得了重大突破，每秒能够生成 109 个令牌。这一改进使得 GPT-4o 在处理速度上有了显著提升，为各种应用场景提供了更高的效率。
尽管如此，GPT-4o 依然不是速度最快的模型。以在 Groq 上托管的 Llama 为例，它每秒可以生成 280 个令牌，远超 GPT-4o。然而，GPT-4o 的优势不仅仅在于速度。其先进的功能和推理能力使其在实时 AI 应用中脱颖而出。GPT-4o 的单一模型架构和优化算法不仅提升了计算效率，还显著降低了响应时间，使其在交互体验上具有独特的优势。
GPT-4o 与 GPT-4 Turbo 吞吐量对比
不同场景下的对比分析
通常而言，GPT-4o 和 GPT-4 Turbo 在处理不同类型任务时，由于架构和模态融合能力的差异性使得表现也存在明显区别。这里，我们主要从数据提取、分类以及推理等3个代表性任务类型来具体分析两者之间的差异。
1.数据提取
在文本数据提取任务上，GPT-4 Turbo 依赖其强大的自然语言理解能力可以取得不错的表现。但当遇到包含图像、表格等非结构化数据的场景时，其能力便显得有些捉襟见肘。
相比之下，GPT-4o 能够无缝融合不同模态的数据，无论是在结构化的文本中，还是图像、PDF 等非结构化数据里，都可以高效地识别和提取所需信息。这一优势使得 GPT-4o 在处理复杂混合数据时更具竞争力。
这里，我们以某司的合同场景为例，数据集包括公司与客户之间的主服务协议(MSA)。合同的长度各不相同，有些短至5页，有些长于50页。
在本次评估中，我们将提取总共12个字段，如合同标题、客户名称、供应商名称、终止条款的详细信息、是否存在不可抗力等。通过对10份合同的真实数据收集，并使用设置了 12 个自定义评估指标。这些指标用于将我们的真实数据与模型生成的 JSON 中的每个参数的 LLM 输出进行比较。随后，我们对 GPT-4 Turbo 和 GPT-4o 进行了测试，以下是我们的评估报告结果：
针对每个 Prompt 所对应的12个指标评估结果
在上述的对比结果中，我们可以得出：在这12个字段中，GPT-4o 在6个字段上表现优于 GPT-4 Turbo，在5个字段上结果相同，而在1个字段上表现略有下降。
从绝对角度来看，GPT-4 和 GPT-4o 在大多数领域仅正确识别了60-80%的数据。在需要高准确性的复杂数据提取任务中，这两种模型的表现都未达到标准。通过使用先进的提示技术，如几发提示或链式思维提示，可以获得更好的结果。
此外，GPT-4o 在 TTFT(第一个令牌的生成时间)上比 GPT-4 Turbo 快50-80%，这使得 GPT-4o 在直接比较中占据优势。最终结论是，GPT-4o 由于其更高的质量和更低的延迟表现优于 GPT-4 Turbo。
2.分类
分类任务往往需要从文本、图像等多模态信息中提取特征，再进行语义级别的理解和判断。在这一点上，由于 GPT-4 Turbo 受限于只能处理单一文本模态，分类能力相对有限。
而 GPT-4o 则可以将多模态信息融合，形成更加全面的语义表征，从而在文本分类、图像分类、情感分析等领域展现出卓越的分类能力，尤其是在一些高难度的跨模态分类场景中。
在我们的提示中，我们提供了客户票何时关闭的明确说明，并添加了几个示例，以帮助解决最困难的案例。
通过运行评估，以测试模型的输出是否与100个标记测试用例的地面真值数据相匹配，以下是相关结果：
分类分析评估参考
GPT-4o 无疑展现出了压倒性的优势。通过一系列针对各类复杂任务的测试和对比，我们可以看到，GPT-4o 在整体精确度上均远超其他竞品模型，从而令它成为诸多应用领域中不二的首选之作。
然而，倾向于 GPT-4o 作为通用解决方案的同时，我们也需要谨记，选择最佳 AI 模型并非一蹴而就的决策过程。毕竟，AI 模型的表现往往取决于具体的应用场景及对精度、召回率和时间效率等不同指标的权衡偏好。
3.推理
推理是人工智能系统的一项高阶认知能力，需要模型从给定的前提条件中推导出合理的结论。这对于逻辑推理、问答推理等任务都至关重要。
GPT-4 Turbo 在文本推理任务上已经表现出色，但遇到需要多模态信息融合的情况时，其能力就受到了一定限制。
而 GPT-4o 则不存在这一局限。它能够自如地融合文本、图像、语音等多种模态的语义信息，在此基础上进行更加复杂的逻辑推理、因果推理和归纳推理，从而赋予人工智能系统更加"人性化"的推理判断能力。
还是基于上述场景，我们来看一下两者在推理层面的对比，具体可参考如下所示：
16个推理任务的评估参考
根据对 GPT-4o 模型的示例测试，我们可以观察到它在以下推理任务中表现越来越出色，具体如下：
- 日历计算：GPT-4o 能够准确识别特定日期的重复时间，这意味着它可以处理与日期相关的计算和推理。
- 时间和角度计算：GPT-4o 能够精确计算时钟上的角度，这在处理时钟和角度相关问题时非常有用。
- 词汇(反义词识别)：GPT-4o 能够有效地识别反义词并理解单词的含义，这对于语义理解和词汇推理非常重要。
尽管 GPT-4o 在某些推理任务中表现越来越好，但在单词操作、模式识别、类比推理和空间推理等任务中仍面临挑战。未来的改进和优化可能会进一步提高该模型在这些领域的性能。
综上所述，基于速率限制高达每分钟1000万 token 的 GPT-4o，是 GPT-4 的整整 5倍。这一振奋人心的性能指标无疑将加速人工智能在诸多密集计算场景中的普及，尤其是在实时视频分析、智能语音交互等领域，GPT-4o 的高并发响应能力将显现出无可匹敌的优势。
而 GPT-4o 最闪耀的创新所在，当属其无缝整合了文本、图像、语音等多模态输入输出的革命性设计。通过单一神经网络直接融合处理各模态数据，GPT-4o 从根本上解决了以往模型间切换的割裂体验，为构建统一的 AI 应用程序铺平了道路。
实现了模态融合后，GPT-4o 在应用场景上将拥有前所未有的广阔前景。无论是结合计算机视觉技术打造智能影像分析工具、与语音识别框架无缝集成创建多模态虚拟助手，还是基于文本图像双模态生成高保真图文广告，一切曾经只能通过整合独立子模型所完成的任务，在GPT-4o的大智能驱动下，将拥有全新的统一高效的解决方案。
Reference ：
- [1] https://openai.com/index/hello-gpt-4o/?ref=blog.roboflow.com
- [2] https://blog.roboflow.com/gpt-4-vision/
- [3] https://www.vellum.ai/blog/analysis-gpt-4o-vs-gpt-4-turbo#task1
