从技术的角度来看大模型产业链 原创
“ 分工合作才是社会进步的根本,而大模型也是如此,每个人都应该在大模型领域找到自己的位置”
大模型技术虽然指的是以机器学习和神经网络模型为主的机器学习模型,但大模型并不只是一个独立的技术,由于其复杂度和对算力和能源的需求,因此大模型整个体系由多层功能组成,而这些层就组成了以大模型为中心的产业链集群。
从技术的角度看大模型产业链的组成
大模型因为其复杂度决定了其绝对不可能是一个单打独斗的产业,因此大模型是由多个部分组成的一个产业集群;而今天我们就来讨论一下大模型在技术上的组成。
从技术的角度来说,大模型主要由以下几层功能构成,从上游到下游依次为:
- 算力层
- 模型服务层
- 应用层
算力层
算力层包括两个方面,一个是硬件算力,一个是集群算力;之所以区分这两者,原因是其差别还是挺大的。
硬件算力主要包括CPU,GPU和TPU等算力芯片,而从厂家来说主要就是以英伟达为首的芯片公司;从技术的角度来说,任何与信息产业相关的技术都离不开算力芯片的支持,毕竟任何程序都需要芯片去运行。
其次就是集群算力,大模型由于其体积庞大,对算力要求较高,因此单一算力模块根本无法完成如此大的计算需求;虽然超级计算机由于其出色的性能也能完成大模型的运算需求;但不论从成本上,还是技术上都不是一个好的选择。因此,以多台小型机组成的算力集群就是一个比较好的选择,而这也是云计算的大行其道的原因之一。
而云计算经过这十多年的发展,从一个概念模型发展到如今百花齐放的时代;不论是国内还是国外,提供云计算服务的企业在信息时代都占据着举足轻重的地位。
模型服务层
在云计算和大数据刚兴起的时候,有几个名词大家应该都能耳熟能详,IAAS,PAAS和SAAS;简单来说就是几种云服务模式。
而随着大模型的兴起,MAAS——模型即服务成为一种当前大模型服务的主流。
这些云服务的产生,主要归结于市场对算力的需求;在云计算之前,传统的算力需求主要由IDC机房来完成;简单来说就是对很多中小互联网企业来说,花费几千甚至几万块钱购买服务器;不但资金压力大,而且还需要专业的运维人员,所以就有了IDC机房,专门提供服务器的运维,对小企业来说只需要开通一个IDC账号即可使用。
而随着云计算的兴起,各大云服务商都组建了自己的数据中心,并且提供比IDC机房更加方便和管理的云服务;这时IDC机房变成了云服务商的一个底层组件。
而同样的道理,大模型的设计,训练和微调对大部分中小企业来说都是一个难以实现的难题;即使技术上能实现,但也无法承受其巨大的资金成本;因此,各种大模型服务商就应运而生。
刚好,这样正符合专业的人做专业的事,大模型的训练和运维交给专业的人员;其它企业只需要在此基础之上做好上层应用即可。
应用层
如果说算力层和模型服务层是一个大部分人都不需要接触的东西,那么基于模型服务构建的上层应用就是和我们普通用户相关的东西了。
应用层简单来说就是,以大模型的功能为基础,在上层构建各种垂直领域的应用系统;比如说以AIGC为主的内容生成系统,如文字,图片,视频,音乐等;以大数据分析为主的推荐系统,分发系统等。
应用层是一个最具创造力,也最具生命力的一个模块;开发者可以发挥自己的想象力,把大模型的能力与特定应用场景相结合,来实现各种各样的奇思妙想的功能。
而我们作为大模型领域的从业者,每个人都可以根据自己的喜好,选择不同的功能层面,来为大模型技术的发展添砖加瓦。
建议
对大部分人来说,不要想着什么都去做,以大模型为中心,选择一个适合自己的小的领域,才是最好的选择;而且,大模型领域如此多的场景和功能,我相信任何对大模型感兴趣的开发者都可以找到属于自己的角色。
本文转载自公众号AI探索时代 作者:DFires