作者 | 徐杰承
2月7日，百度官方公众号发布了一条极为简短的通告——《官宣：文心一言》。据了解，文心一言正是百度内部所研发的类ChatGPT聊天机器人，其英文名称则为ERNIE Bot。
据百度内部人员表示：文心一言由基于百度提出的知识增强大模型（Ernie）扩展而成的一系列高级大模型构成，可以执行广泛的任务，包括语言理解、语言生成(ERNIE 3.0 Titan)以及根据文本生成图像(ERNIE-ViLG)等。与其他语言模型相比，文心一言能够将广泛的知识与海量数据相结合，从而产生非凡的理解与生成能力。公司计划在3月完成文心一言的内部测试，然后向公众正式开放使用。
虽然对于文心一言的实际表现我们暂且不得而知，但通过百度此前所发布的名为《ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation》的论文，目前我们可以大致了解到一些有关其所应用的语言模型ERNIE 3.0 Titan的相关信息。
据论文显示：ERNIE 3.0 Titan是百度于PaddlePaddle平台上所训练的千亿参数模型，其中包含多达2600亿个参数（ChatGPT使用1750亿参数的GPT3.5模型）。此外，百度还设计了一个自我监督的对抗性损失和一个可控的语言建模损失，使ERNIE 3.0 Titan生成可信和可控的文本。
为了减少计算开销和碳排放，百度还为ERNIE 3.0 Titan提出了一个在线蒸馏框架，其中教师模型将同时教授学生和训练自己。ERNIE 3.0Titan是迄今为止最大的中国密集预训模型。相关实验结果表明，ERNIE 3.0 Titan在68个NLP数据集上的性能已优于现阶段最先进的语言模型，包括ChatGPT所应用的GPT3.5模型。
ERNIE 3.0 Titan模型架构图
据悉，目前文心一言已进入上线前的最接冲刺阶段，而相关消息的曝出，也使百度港股一度暴涨超17%，市值增长约700亿港元。据部分业内人士推测，百度文心一言项目或早在2022年9月便已启动研发，彼时百度CEO李彦宏在世界人工智能大会上就曾表示：无论在技术层面还是商业应用层面，人工智能都有了巨大的进展，有些甚至是方向性的改变。
考虑到目前由ChatGPT所带来的生成式AI的火爆，未来觊觎这一领域市场的国内企业，势必不止百度一家。就市场角度而言，目前类ChatGPT聊天机器人最明显的价值与落地场景，正是百度主营的搜索业务。如此看来，如果下一次科技革命真的爆发在该领域，那么百度无疑已拔得头筹。此外，不少业内人士认为，考虑到谷歌和微软的推进节奏，文心一言开放内测的进度还有可能继续提前。
