企业界对开源大型语言模型(LLM)的使用迅速增长，越来越多的公司在AI领域获得了更多专业知识，寻求更大的控制力、定制能力和成本效率。
尽管早期主要是OpenAI的GPT-4等封闭模型占据主导地位，但多位企业领导人在接受记者采访时表示，开源模型的质量已经缩小了差距，并且在企业中的增长速度至少与封闭模型持平。
这与今年早些时候的情况有所不同。当时我曾报道，尽管开源的前景毋庸置疑，但它的普及速度相对较慢，然而Meta向记者表示，其公开发布的模型下载量已经超过4亿次，速度是去年的10倍，使用量在2024年5月至7月间翻了一番，这一采用热潮反映出多种因素的共同作用——从技术上的平衡到信任方面的考量——正在推动先进企业向开源替代方案靠拢。
Groq的CEO Jonathan Ross直言道：“开源始终是赢家。” Groq是一家提供专用AI处理基础设施的公司，客户大量使用开源模型。他补充说：“大多数人都非常担心被厂商锁定。”
即便是投入40亿美元于封闭源厂商Anthropic的AWS——这是AWS史上最大的投资——也承认了这一趋势。AWS AI和基础设施副总裁Baskar Sridharan表示：“我们确实在过去几个月里看到了对公共模型的更大需求。”AWS通过其Bedrock服务提供尽可能多的开放源和封闭源模型，以满足客户的不同需求。
大型应用公司平台转型加速了开源模型的普及
在初创公司或个人开发者中，OpenAI等封闭源模型依然领先，但在企业领域，情况却大不相同。不幸的是，市场上没有第三方渠道追踪企业级开源和封闭LLM的竞争情况，部分原因在于这一信息难以公开。API公司Kong在7月对700多位用户进行了调查，但由于受访者中包括了较小的公司，因此倾向于选择操作简单的OpenAI(这一报告还包含其他AI服务如Bedrock，但Bedrock并非LLM，而是一个提供多种LLM(包括开源模型)的服务——类似于“混合”的对比)。
但从实证角度来看，证据正在积累。例如，各大商业应用提供商都在积极整合开源LLM，彻底改变了企业应用这些模型的方式。上个月，Salesforce引领了最新一波浪潮，推出了Agentforce，承认其客户关系管理客户需要更灵活的AI选项，该平台允许企业在Salesforce应用中接入任意LLM，使开源模型的使用便捷度媲美封闭模型。Salesforce旗下的Slack也迅速跟进。
Oracle也在上个月扩展了其企业套件中对最新Llama模型的支持，包括ERP、人力资源和供应链等大型企业应用程序，另一位商业应用巨头SAP宣布通过其Joule AI助手提供全面的开源LLM支持，而ServiceNow在客户服务和IT支持等工作流自动化领域同时支持开源和封闭LLM集成。
Oracle的AI和数据管理服务执行副总裁Greg Pavlik表示：“我认为开源模型最终会胜出。”他指出，尤其是在垂直领域中，企业客户可以修改模型并进行实验，这种能力结合成本优势非常具有吸引力。
复杂的“开源”模型生态系统
虽然Meta的Llama已经崭露头角，但开源LLM生态系统演变为一个细致的市场，不同的开源方式各有特点。例如，Meta的Llama在市场上已有超过65000个派生模型。企业IT领导者需要在完全开放的权重和训练数据以及带有商业许可的混合模型之间进行权衡和选择。
例如，Mistral AI通过提供高性能模型并提供灵活的许可条款，成功吸引了需要不同支持级别和定制化的企业，而Cohere则采用了另一种模式，提供开源模型权重，但需支付许可费——这种模式因其透明性和商业支持的平衡性而受到部分企业的青睐。
这种开源模型生态系统的复杂性已成为成熟企业的优势。企业可以选择符合其具体需求的模型——无论是需要对模型权重进行全面控制以实现高度定制，还是支持开源权重以便快速部署。领导者表示，检查和修改这些模型的能力提供了完全封闭替代方案无法实现的控制水平。此外，使用开源模型往往需要一支技术娴熟的团队来对模型进行微调和高效管理，这也是拥有更多资源的企业在使用开源模型时具备优势的另一个原因。
Meta对Llama的快速开发展示了企业为何青睐开源模型的灵活性。AT&T使用基于Llama的模型进行客户服务自动化，DoorDash用于帮助解答其软件工程师的问题，而Spotify则用于内容推荐。高盛在受高度监管的金融服务应用中部署了这些模型。其他Llama用户还包括Niantic、野村、Shopify、Zoom、Accenture、Infosys、KPMG、富国银行、IBM以及格莱美奖。
Meta积极培养渠道合作伙伴。目前所有主要的云提供商都支持Llama模型。Meta产品副总裁Ragavan Srinivasan表示：“企业客户对Llama的兴趣和部署量在急剧增长，特别是在Llama 3.1和3.2发布之后。尤其是大型的405B模型获得了非常强劲的关注，因为成熟的企业客户看到了能够在多种模型之间切换的价值。”他提到，客户可以使用蒸馏服务从Llama 405B创建衍生模型，以根据自己的数据进行微调。蒸馏是一种在保留核心能力的同时创建更小、更快模型的过程。
事实上，Meta凭借其其他模型组合很好地覆盖了市场，包括Llama 90B模型，可用于大多数提示任务，而1B和3B模型则小到可以在设备上使用。今天，Meta还发布了这些小型模型的“量化”版本。量化是一种使模型更小的过程，从而减少功耗并加快处理速度。此次最新发布的版本在训练过程中进行了量化，使其比其他业内的量化替代品更高效——在生成标记方面速度提升四倍，功耗减少到原来的四分之一。
技术能力推动复杂部署
开源和封闭模型之间的技术差距实际上已消失，但各自的优势仍然明显，成熟的企业正在战略性地利用这些优势，这带来了更细致的部署方式，企业根据特定任务需求组合不同模型。
Salesforce的AI执行副总裁Jayesh Govindarajan解释道：“大型的专有模型在高级推理和分解模糊任务方面非常出色。”但对于那些推理要求较低、以语言创作为主的任务，例如撰写电子邮件、创建营销内容、公司研究，“开源模型已经达到同等水平，甚至在某些方面更好。”他还指出，即使是高推理任务也可以分解为多个子任务，其中很多最终成为以语言为主的任务，而开源模型在这方面表现出色。
Intuit，这家拥有会计软件QuickBooks和税务软件TurboTax的公司，在几年前就开始了其LLM之旅，成为财富500强公司中非常早的行动者。其实施过程展示了成熟的应用策略。对于QuickBooks中的交易分类等面向客户的应用，Intuit发现其基于Llama 3微调的LLM比封闭替代品表现出更高的准确性。Intuit的首席数据官Ashok Srivastava解释说：“我们发现可以使用一些开源模型，将其调整到较小规模，并用于特定领域的需求。”这些模型“体积小得多，延迟低且精度不减，甚至更高。”
银行业也展示了从封闭LLM向开源LLM的迁移。服务于澳大利亚和新西兰的ANZ银行最初使用OpenAI进行快速实验，但在转向实际应用部署时，放弃了OpenAI，改为基于Llama模型的微调模型，以适应特定的金融应用场景，并满足对稳定性和数据主权的需求，该银行发布了一篇博客，详细介绍了这一过程，强调了Llama的多版本提供的灵活性、灵活的托管选项、版本控制和便捷的回滚功能。据我们了解，美国排名前三的一家银行最近也放弃了OpenAI，转向开源解决方案。
正是这种想要从OpenAI转向开源的需求促使一些公司推出了“切换工具包”，例如PostgresML的产品，使企业能够在几分钟内从OpenAI无缝转向开源。
基础设施的演变消除了部署障碍
开源LLM的部署路径已大大简化。Meta的Srinivasan概述了企业采用的三条主要路径：
1. 云合作伙伴集成：主要的云提供商现在提供了简化的开源模型部署方案，具有内置的安全性和扩展功能。
2. 自定义技术栈开发：具备技术能力的公司可以在本地或云端构建自己的基础设施，保持对AI技术栈的完全控制——Meta也通过所谓的Llama Stack提供帮助。
3. API访问：对于追求简便的公司，现在多家供应商提供开源模型的API访问，使其使用方式如同封闭模型一样简单。Groq、Fireworks和Hugging Face就是例子，它们都能提供推理API、微调API以及所有类似于专有供应商的功能。
安全性和控制优势显现
开源方法在模型安全性和控制方面也意外地成为了领先者，特别适合那些需要对其AI系统进行严格监管的企业。Groq的Ross指出：“Meta在安全性方面非常谨慎，因为他们让模型面向公众。”他说，“他们实际上更为小心。相较之下，其他公司则不太透明，测试的难度更大。”
Meta对安全性的重视也反映在其组织结构中。Ross表示，根据几个月前与Meta的对话，负责Llama安全性和合规性的团队相对于工程团队规模较大。(Meta发言人表示公司不对人员信息发表评论)。9月发布的Llama 3.2推出了Llama Guard Vision，进一步丰富了7月发布的安全工具。这些工具可以：
• 检测潜在问题的文本和图像输入，防止其进入模型
• 监控并过滤输出结果，以确保安全和合规
企业AI提供商在此基础安全功能之上进行了扩展。例如，AWS的Bedrock服务允许企业在不同模型中建立一致的安全保护机制。AWS的Sridharan解释道：“一旦客户设置了这些政策，就可以在不同的公共模型之间切换，而无需重新编写应用程序。”这种标准化对管理多个AI应用程序的企业至关重要。
作为企业级云数据提供商的Databricks和Snowflake也认可Llama的安全性：“Llama模型保持了‘最高的安全和可靠性标准’，”Neural Networks的CTO Hanlin Tang表示。
Intuit的实施展示了企业如何在安全措施上进行额外的叠加，该公司的GenSRF(安全、风险和欺诈评估)系统，作为其“GenOS”操作系统的一部分，监控约100个信任和安全维度。Intuit的Srivastava解释道：“我们有一个委员会负责审查LLM，确保其标准与公司原则一致。”不过，他指出，对开源模型的审查与公司对封闭源模型的审查没有不同。
通过合成训练解决数据来源问题
关于LLM的一个关键问题在于其训练数据的来源。出版商和其他创作者提起了许多诉讼，指控LLM公司侵犯版权。大多数LLM公司，无论是开源还是封闭的，都没有完全透明地披露其数据来源。由于大部分数据来自公开网络，因此可能存在高度的偏见并包含个人信息。
许多封闭源公司为用户提供了“赔偿保障”，即在使用其LLM时对法律风险或诉讼提供保护。开源提供商通常不提供此类赔偿。不过，最近关于数据来源的担忧似乎有所缓解。通过微调可以对模型进行调整和过滤，Meta等公司还创建了更多对齐和其他安全措施以缓解这些担忧。数据来源问题对于一些企业，特别是那些受严格监管的行业(如银行业或医疗保健)仍然是一个问题，但一些专家建议，通过合成训练数据，这些数据来源问题可能很快会得到解决。
Salesforce的Govindarajan解释道：“想象一下，如果我可以采取公共的专有数据，通过一些算法方法进行修改，以创建反映真实世界的合成数据，那么我其实不需要访问所有那种互联网数据……数据来源问题就消失了。”
Meta已接受这一趋势，并在Llama 3.2的1B和3B模型中加入了合成数据训练。
区域模式揭示了由成本驱动的采用趋势
开源LLM的采用显示出明显的区域和行业特定模式。Oracle的Pavlik观察到：“在北美，封闭源模型在生产中的使用量肯定超过了开源模型。”他接着表示：“而在拉丁美洲，我们看到Llama模型在生产场景中的使用量大幅上升，这几乎是相反的。”
导致这些地区差异的原因尚不明确，但可能反映出在成本和基础设施方面的不同优先级。Pavlik描述了一个全球范围内发生的情景：“一些企业用户开始使用GPT-4进行一些原型开发……收到第一份账单后，他们会想，‘天啊，太贵了!’这比他们预期的要昂贵得多，于是他们开始寻找替代方案。”
市场动态指向商业化趋势
LLM部署的经济性正迅速向开源模型倾斜。风投家Marc Andreessen指出：“过去一年里，生成LLM输出的每个token的成本已经下降了100倍。”他质疑封闭源模型提供商是否能保持盈利，这样的“价格战”对那些为封闭模型开发筹集数十亿美元的公司构成了压力，而那些通过核心业务支持开源开发的组织则更具优势。
Intuit的Srivastava表示：“我们知道这些模型的成本将趋近于零。”他警告称，过度投入这些模型的公司可能很快会面临后果，这种趋势特别有利于Meta，因为Meta可以提供免费模型，同时从其平台和产品的应用中获取价值。
Groq的Ross认为，LLM竞争的一个很好的比喻是操作系统之争。“Linux可能是LLM的最佳类比。”虽然Windows主导了消费级计算，但开源的Linux却在企业系统和工业计算中占据主导地位。Intuit的Srivastava也看到类似的模式：“我们一次又一次地看到开源操作系统与非开源操作系统的竞争。浏览器之争也是如此，”当时开源的Chromium浏览器击败了封闭源的模型。
SAP全球AI主管Walter Sun也赞同这一观点：“我认为在竞争中，开源的大型语言模型与封闭源模型一样有效，这给予了人们更多的灵活性。”他补充道：“如果你有特定的需求和应用场景……开源是实现的最佳途径。”
Groq的Ross和其他一些观察家认为，Meta可能有能力投入1000亿美元来训练其Llama模型，这一数额超过了所有专有模型提供商的总和。他表示，Meta有动力这样做，因为它是LLM的最大受益者之一，需要它们来提升其核心业务的智能水平，为Instagram、Facebook和WhatsApp上的用户提供AI服务。Meta表示，其AI每周接触1.85亿活跃用户，这样的规模几乎无出其右。
这表明开源LLM不会面临其他开源项目中经常出现的可持续性挑战。Meta CEO Mark Zuckerberg在7月的开源AI支持信中宣布：“从明年开始，我们预计未来的Llama模型将成为行业中最先进的模型。”他说，“但即便在此之前，Llama已经在开放性、可修改性和成本效率方面处于领先地位。”
专用模型丰富了生态系统
专用行业解决方案的出现进一步加强了开源LLM生态系统。例如，IBM推出了其Granite模型，完全开源，并专为金融和法律应用训练而成。IBM的GenAI全球管理合伙人Matt Candy表示：“Granite模型是我们的‘杀手级应用’。”他说，“这些是唯一能完全解释训练和调优数据集来源的模型。如果你身处一个受监管的行业，并将你的企业数据与该模型结合使用，你需要非常清楚其内容。”
IBM的业务受益于开源，包括将其Red Hat Enterprise Linux操作系统打包进混合云平台中，包含Granite模型的使用以及InstructLab——一种微调和增强LLM的方法。其AI业务已初见成效。Candy表示：“看看股价吧——历史新高。”
信任日益倾向于开源
信任正在转向企业可以拥有和控制的模型。Inflection AI的首席运营官Ted Shelton解释了封闭模型的根本挑战。Inflection AI是一家为企业提供许可源代码和完整应用栈的公司，作为封闭和开源模型的替代方案。他指出：“无论是OpenAI、Anthropic、Gemini还是Microsoft，它们都愿意为企业客户提供所谓的私有计算环境，然而，这种计算环境仍由模型提供商的员工管理，客户无法访问模型本身。”这是因为LLM的所有者希望保护源代码、模型权重和超参数训练细节等专有元素，而这些信息对于直接访问模型的客户无法隐藏。由于大量代码是用Python编写的，而不是编译语言，因此它们依然暴露在外。
这种情况对于严肃对待AI部署的企业而言不可接受。Shelton指出：“一旦你允许‘OpenAI的员工将真正控制和管理模型，他们将接触到公司的所有数据’，这就成为了数据泄漏的一个风险点。”他补充道，“那些真正关心数据安全的公司会说，‘不，我们不会这么做。我们会实际运行自己的模型，而唯一的选择就是开源。’”
未来的方向
虽然封闭源模型在较简单的用例中仍然保持市场领先地位，但成熟的企业越来越意识到未来的竞争力依赖于对其AI基础设施的更多控制。正如Salesforce的Govindarajan所观察到的：“一旦你看到价值，并开始将其扩展到所有用户和客户身上，就会开始提出一些有趣的问题。是否可以提高效率?是否可以实现成本效率?是否可以提高速度?”
这些问题的答案正促使企业转向开源模型，即便这一转变并非总是那么顺利。Inflection AI的Shelton说：“我确实认为会有一大批公司努力尝试让开源发挥作用，因为他们别无选择。你要么屈服，接受几家大型科技公司控制GenAI，要么接受Mark Zuckerberg抛出的救命稻草，然后说：‘好吧，让我们一起努力吧。’”
