3月20日，北京智源人工智能研究院发布超大规模智能模型“悟道1.0”。“悟道1.0”是我国首个超大规模智能模型系统，由智源研究院学术副院长、清华大学唐杰教授领衔，带领来自北京大学、清华大学、中国人民大学、中国科学院等单位的100余位AI科学家团队联合攻关，取得了多项国际领先的AI技术突破，形成超大规模智能模型训练技术体系，训练出包括中文、多模态、认知、蛋白质预测在内的系列模型。
“悟道”模型：旨在从更加本质的角度进一步探索通用智能
会上，智源研究院院长黄铁军教授介绍了“悟道”模型研发的初衷。据他介绍，本轮人工智能浪潮的基本特点是“数据+算力+算法=模型”，模型浓缩了训练数据的内部规律，是实现人工智能应用的载体。近年来人工智能的发展，已经从“大炼模型”逐步迈向了“炼大模型”的阶段，通过设计先进的算法，整合尽可能多的数据，汇聚大量算力，集约化地训练大模型，供大量企业使用，这是必然趋势。
智能模型不仅要规模大（主要体现为参数量），还要智商高，才能满足各种应用需要，这需要突破大量技术挑战。作为以人工智能源头创新为使命的新型研究机构，智源研究院2020年10月正式启动超大规模智能模型“悟道”项目，研发既博大又精深的超大规模训练模型，从更加本质的角度进一步探索通用人工智能。同时，构建大规模智能模型应用生态，推动相关机构和个人开发者基于模型研发各类新型智能应用，服务我国实体经济产业升级。
为了更好地推动“悟道”大模型的研发，保持研发过程中技术的领先性，此次发布上，还同时成立了由9位来自学术界和产业界的顶尖科学家组成的“悟道”大模型技术委员会。委员会主任由清华大学唐杰教授担任，委员会成员包括：北京大学鄂维南院士、清华大学鲁白教授、中国人民大学人工智能信息学院院长文继荣教授、清华大学计算机系长聘副教授刘知远、清华大学计算机系长聘副教授黄民烈、北京大学王选计算机研究所万小军研究员、一流科技创始人袁进辉、循环智能联合创始人杨植麟。后续，技术委员会将为大模型研发的技术方案和路线选择等进行指导和把关。
“悟道1.0”：我国首个超大规模智能模型
会上，“悟道”模型技术委员会主任、智源研究院学术副院长唐杰教授介绍了“悟道”模型的战略布局及阶段性成果。据介绍，“悟道1.0”先期启动了4个大模型的研发。
“悟道·文源”是“以中文为核心的大规模预训练模型”，目标是构建完成全球规模最大的以中文为核心的预训练语言模型，在中英文等多个世界主流语言上取得最好的处理能力，在文本分类、情感分析、自然语言推断、阅读理解等多个任务上超越人类平均水平，探索具有通用能力的自然语言理解技术，并进行脑启发的语言模型研究。目前，“悟道·文源”模型参数量达26亿，具有识记、理解、检索、数值计算、多语言等多种能力，并覆盖开放域回答、语法改错、情感分析等20种主流中文自然语言处理任务，技术能力已与GPT-3实现齐平，达到现有中文生成模型的领先效果。
“悟道·文澜”是“超大规模多模态预训练模型”，目标是突破基于图、文和视频相结合的多模态数据的预训练理论难题，并最终生成产业级中文图文预训练模型和应用，并在多个评测应用上超过国际最高性能。目前，“悟道·文澜”模型参数量达10亿，基于从公开来源收集到的5000万个图文对上进行训练，是首个公开的中文通用图文多模态预训练模型。目前，该模型性能已到达国际领先水平，在中文公开多模态测试集AIC-ICC的图像生成描述任务中，得分比冠军队高出5%；在图文互检任务中，得分比目前最流行的UNITER模型高出20%。
“悟道·文汇”为“面向认知的超大规模新型预训练模型”，致力于从认知的角度研究通用人工智能中一系列更本质问题，侧重进一步提升和发展预训练模型基于逻辑、意识和推理的认知能力，目标是研发出千亿至万亿级别参数量的、更通用且性能超越国际水平的预训练模型，搭建预训练模型体系，同时形成认知智能生态。目前，“悟道·文汇”模型的参数规模达113亿，在多项任务中“悟道·文汇”的表现已经接近突破图灵测试，通过简单微调就已经实现AI作诗、AI作图、AI制作视频、图文生成、图文检索、复杂推理。
“悟道·文溯”是“超大规模蛋白质序列预测预训练模型”，最终目标是以基因领域认知图谱为指导，研发出十亿参数规模、可以处理超长蛋白质序列的超大规模预训练模型，在基本性能、可解释性和鲁棒性等多个方面达到世界领先水平。目前，“悟道·文溯”已在蛋白质方面完成基于100GB UniParc数据库训练的BERT模型，在基因方面完成基于5-10万规模的人外周血免疫细胞（细胞类型25-30种）和1万耐药菌的数据训练，同时搭建训练软件框架并验证其可扩展性。
据唐杰教授介绍，此次发布的“悟道”大模型1.0版本，已经完成了百亿和千亿参数规模的预训练，在多个国际评测中取得世界第一，在部分任务上具有一定认知能力。今年，还将陆续发布后续迭代版本，面向产业界开放使用。
应用生态“三步走”：探索“悟道”大模型生态发展
在模型研发的同时，智源研究院也在同步探索“悟道”模型的应用生态建设模式。据唐杰教授介绍，后续“悟道”模型将以开放API（应用程序接口）的形式对外提供服务，用户通过申请并经授权后可以基于模型API开发各类智能化应用。另外，也会开源模型的社区版本，服务我国AI科研发展。
据唐杰教授介绍，下一步，“悟道”模型应用生态建设分为三个主要阶段，分别关注示范应用、API生态及社区运营维护等。第一阶段为示范性应用搭建，将构建面向电子商务、智能文本服务、垂直领域以及数个独立的示范性应用，将开放几个高质量的应用Demo，支持用户在平台页面上使用及测试。第二阶段为API及平台生态构建，将设计多个API，支持对模型的不同请求方式，构建支持高并发、高速推理的API接口，分别支持企业级用户、个人独立开发者对模型或特定功能的请求。第三阶段为社区运营及迭代，将逐步增量扩大在线评测，构建开发者及使用者社区，建立完善的使用反馈机制，并作为模型迭代的参考标准，同时加强社区维护及管理，加快模型迭代。
目前，智源研究院已启动第一阶段的示范性应用搭建，正与快手、搜狗、360、阿里、智谱华章、一览群智、循环智能、新华社等机构就模型的应用进行洽谈，联合构建一批工业级示范性应用。下一步，智源研究院将加强用户的开发，做好用户服务，与AI龙头企业共同研发更多工业级示范性应用，并将加快推动API生态构建及社区运营迭代工作，通过举办学术交流、技术挑战赛等活动提高“悟道”模型的影响力，吸引更多AI企业、研究机构、个人开发者等开展基于模型的应用开发工作，推动构建国际领先的超大规模智能模型应用生态。
