IBM重磅发布Granite 3.0秒杀同级别大模型|全球首个39语言多模态大模型开源，告别"英语霸权"

大模型领域的发展日新月异，每天都有许多有趣的论文值得深入品读。下面是本期觉得比较有意思的论文：

1、大模型要"断粮"了？最新综述揭示AI数据困境与突围之道

2、IBM重磅发布Granite 3.0：8B参数秒杀同级别大模型，还能随便商用！

3、全球首个39语言多模态大模型开源，告别"英语霸权"  

1、大模型要"断粮"了？最新综述揭示AI数据困境与突围之道

人工智能领域有一个有趣的悖论：模型越来越大，但优质数据的增长速度却远远跟不上。就像一个不断长大的孩子，却发现食物供应越来越紧张。最新发表的一篇综述论文深入探讨了这个迫在眉睫的问题，并为我们指明了突破的方向。    

面对这个困境，研究人员提出了两种解决方案：数据增强和数据合成。简单来说，就是让AI学会"变废为宝"和"无中生有"。数据增强就像是把一份食材烹饪成多种美味佳肴，而数据合成则是让AI自己创造出新的"食材"。这些方法不仅能解决数据短缺的问题，还能帮助AI学习得更好、更全面。    

但这个领域并非一帆风顺。就像复制的食物可能缺少营养一样，合成数据也面临着质量、伦理和可靠性等多重挑战。如何确保合成数据的真实性？如何避免产生有害信息？如何评估这些数据的效果？这些都是亟待解决的问题。    

这篇综述首次全面梳理了大语言模型在数据合成和增强方面的最新进展，从模型的预训练、微调到具体应用等全生命周期进行了系统分析。更重要的是，它为未来研究指明了方向，让我们看到了AI突破"数据天花板"的希望。这就像为正在成长的AI准备了一份可持续发展的营养方案，让它能够健康、持续地成长。

论文标题：A Survey on Data Synthesis and Augmentation for Large Language Models

论文链接：​​https://arxiv.org/abs/2410.12896​​          

2、IBM重磅发布Granite 3.0：8B参数秒杀同级别大模型，还能随便商用！

在大模型竞争激烈的当下，IBM带来了一个重磅消息：发布了全新的Granite 3.0模型系列。这个系列最大的亮点是，在仅有8B参数的情况下，性能竟然超越了广受欢迎的Llama 3.1-8B和Mistral-7B模型，堪称轻量级模型中的性能王者！    

更让人兴奋的是，Granite 3.0采用了Apache 2.0许可证，这意味着企业可以毫无顾虑地将其用于商业用途。不同于市面上诸多限制重重的开源模型，Granite 3.0给企业提供了充分的使用自由，可以随心所欲地进行定制和部署。    

这个模型系列共推出了四个版本，既有传统的dense模型（2B和8B参数），也有创新的专家混合模型（实际仅需激活400M到800M参数）。每个版本都经过了海量数据训练（高达12万亿个token！），并且原生支持多语言、编程、函数调用等功能，在企业级任务上表现出色。    

更难得的是，IBM还非常透明地公开了训练细节，包括数据来源、处理流程等关键信息，这让企业用户可以更安心地将模型应用到重要业务中。可以说，Granite 3.0不仅是一款性能出众的轻量级模型，更是一个真正为企业级应用而生的可靠伙伴。

论文标题：GRANITE 3.0 LANGUAGE MODELS

论文链接：​​https://github.com/ibm-granite/granite-3.0-language-models/blob/main/paper.pdf​​

3、全球首个39语言多模态大模型开源，告别"英语霸权"

想象一下，一个印度农民用母语向AI询问作物病虫害，一个非洲学生用当地语言请教数学题，一个中国老人用普通话和AI聊天......这不再是科幻，因为PANGEA的诞生让这一切成为现实！这个突破性的多语言多模态大模型支持39种语言，让AI真正走进了全球各个角落。

与以往"英语至上"的AI模型不同，PANGEA特别注重文化多样性和语言包容性。研究团队精心打造了一个包含600万条多语言指令的训练数据集，不仅包含高质量的多语言翻译，更融入了丰富的文化元素。这就像给AI安装了一个"文化翻译器"，让它能够真正理解并尊重不同文化背景用户的需求。    

实验结果令人振奋！在14个数据集的全面测试中，PANGEA在英语任务上领先其他开源模型7.3分，在多语言任务上更是遥遥领先10.8分。它不仅能看懂图片、回答问题，还能理解不同文化背景下的细微差别，在某些任务上甚至能与GPT-4和Gemini这样的商业巨头模型一较高下。

更让人兴奋的是，研究团队选择完全开源这个模型，包括训练数据、评估基准和代码全部公开。这意味着，一个更加包容、公平的AI时代即将到来，让全球每个角落的用户都能平等地享受AI带来的便利。    

论文标题：Pangea: A Fully Open Multilingual Multimodal LLM for 39 Languages

论文链接：​​https://arxiv.org/abs/2410.16153​​

本文转载自 ​​AI帝国​​，作者： 无影寺