国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏

发布于 2024-3-28 11:18
浏览
0收藏

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区

RISC-V迈向AI计算和高性能领域,应用和生态进一步壮大。

芯东西3月18日报道,国产CPU的路不好走,但走得人多了,希望就大了起来。当前三大指令集架构中,唯一不受商业公司牵制的RISC-V,正酝酿出越来越丰富的技术创新与商业成果。

这在上周的玄铁RISC-V生态大会上得到集中展示,来自半导体IP、芯片、软件等不同产业环节的代表性玩家们不仅踊跃晒出产品和工具进展,而且兴致勃勃地分享RISC-V有望带给中国芯片产业的新趋势、新赛点、新机会。

14年前,全新开源指令集RISC-V在美国加州大学伯克利分校诞生。今天,RISC-V以远超“前辈”的速度发展。据阿里巴巴达摩院院长张建锋分享,从0到出货100亿颗芯片,RISC-V仅用10年,就走完了Arm 30年的历程。

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区

会上,倪光南院士和硅谷芯片领域传奇人物Jim Keller发表致辞,采用国产RISC-V处理器的笔记本电脑“如意BOOK”首度亮相,达摩院预告首款基于RISC-V的安卓终端设备将在今年下半年大规模商业化落地,算能科技更是做到将大语言模型跑在基于RISC-V的加速器上。

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区

从全天会议可以总结出这些趋势:1、国内CPU市场有钱途,并对RISC-V逐渐敞开怀抱;2、自主CPU正迎头追赶,已取得技术和生态上的重要进展,接下来想要抓住AI和高性能芯片的市场机会;3、国产RISC-V虽然声量还不大,但生态链各环节都有企业在踏实且坚定地做事情。

1.RISC-V芯片赛道融资密集,逐渐走向高性能和大算力

三大指令集架构中,x86与Windows联盟在PC领域独孤求败,Arm与安卓在移动终端领域叱咤风云,RISC-V的市占率跟两位前辈没法比,但就凭背负着自主可控的希望,不仅国内生态发展精气神旺盛,战略地位更是遥遥领先。

投资机构对RISC-V创企已给予许多积极反馈。从2023年1月到2024年1月,至少有16家研发RISC-V芯片的国内创企获得新一轮融资,其中奕斯伟计算、进迭时空、希姆计算、蓝芯算力、知合计算的最新单笔融资均达到亿级。

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区▲国内RISC-V芯片初创公司新融资事件(2023年1月-2024年1月)

其中,国内不少RISC-V芯片创企的核心团队都与大厂关系匪浅。例如,知合计算CEO孟建熠是前平头哥副总裁,进迭时空联合创始人陈志坚是玄铁处理器主要研发负责人,蓝芯算力创始人兼CEO卢山是前字节跳动服务器芯片负责人,之行无界创始人兼CEO楚含进是原AMD XR与计算平台高级总监,晶远芯创始人刘钢是前西部数据中国区业务总经理,尚未公布融资动向的旭日辰芯由前英特尔中国区高管创办。

目前中国有数百家公司在关注或以RISC-V指令集进行开发。RISC-V International的25个高级会员中有阿里、华为、腾讯等12家中国企业,去年达摩院领导了13个技术小组的标准制定。

张建锋在演讲中分享了一些数据:RISC-V正呈高速发展,在可穿戴MCU、计算笔记本、通信5G、消费级AI加速、工业智能电网、自动驾驶AI驾驶等主流应用中的占比接近或达到30%;未来几年在主流市场年复合增长率预计超过40%。

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区

倪光南院士预测,未来世界三大主流CPU生态将是:1)服务器/桌面的Wintel联盟;2)移动终端的安卓Arm生态;3)智能物联IoT的RV++(1套RISC-V指令集架构+1套基础软件+N种定制化芯片)。其中,AIoT生态会出现数万种定制化需求,而RISC-V最有优势。

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区

他认为RISC-V自定义扩展指令是实现特定领域架构(DSA)的有效途径,随着RISC-V扩展指令集功能的充分发挥,芯片定制化或”芯片定义”将会被人们所普遍接受。

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区

当前RISC-V发展呈两大趋势:一是迈向AI计算和高性能领域,二是应用和生态进一步壮大。

一方面,AI爆发带来极大算力需求,RISC-V可增加其功能扩展性。RISC-V的模块化和扩展性,允许定制指令集来优化特定类型计算操作,可根据AI工作负载特点提供定制化的加速器。RISC-V逐步走入高性能和AI计算的深水区。

张建锋说,2023年,RISC-V架构在更多实际应用场景中得以落地生根,从物联网设备、边缘计算逐渐迈向AI计算、高性能计算等领域,产生代表性的应用案例,并以其开放性、灵活性和高效能赢得了市场和更多用户的认可。

另一方面,全球70多个国家和地区参与RISC-V开放规范,产业更加壮大。RISC-V软件生态逐渐成熟,在更多应用场景落地发芽。RISC-V应用规模和适配程度也不断提高。

孟建熠感受到相比去年拿出来的更多是demo,今年拿出来的更多是产业化的东西。

“随着新型算力需求激增,RISC-V正迎来蝶变,即将进入应用爆发期。”张建锋总结说。

2.AI计算是重头戏:RISC-V端侧跑大模型能效更高

大会演讲及会中交流传递出一个信号:AI计算被公认是RISC-V发展的焦点方向。

2023年5月,Meta基于RISC-V架构推出首代AI推理加速器;10月,高通宣布将与谷歌合作推出基于RISC-V架构、支持Wear OS系统的智能穿戴芯片,并将在全球市场进行商用推广。

在玄铁RISC-V生态大会上,硅谷芯片领域传奇人物、加拿大AI芯片创企Tenstorrent首席执行官Jim Keller通过视频连线的方式肯定RISC-V潜力无限,认为它有望打造出下一代AI引擎。

张建锋宣布,达摩院面向AI加速、低功耗、安全等全面升级迭代玄铁产品线。面向端侧AI加速计算的玄铁C907首次实现矩阵运算扩展,下一代高性能旗舰处理器C930也将于今年推出。玄铁CPU家族朝着低功耗、AI加速、安全、车规四条主线演进。

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区

算能直接放大招——基于RISC-V扩展指令打造大模型加速器SG2380,内置128GB DRAM和200GB/s内存带宽,在移动终端支持大带宽、大容量、大算力、语言类、视觉类大模型,并号称实现“移动终端最强大模型性能”。算能高级副总裁高鹏认为采用RISC-V和存算一体等先进技术重构大模型算力成为热点。

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区

算能的RISC-V产品涵盖通用算力与推理算力,实现了首个商业云部署的RISC-V集群落地。高鹏谈道,RISC-V仅用8年就进入了服务器处理器领域,而x86用了18年、Arm用了35年。

面向电网建设,国网智芯基于玄铁处理器研发了高能效工业级AI芯片,用于变电智能巡视、源网荷储协同调度等场景;在ICT领域,中国电信研究院推动高性能RISC-V在电信端云一体场景下的产品化,并与玄铁团队合作研发了基于RISC-V的边缘AI计算盒子TeleBox。

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区

在接受媒体采访时,达摩院玄铁RISC-V团队资深技术专家李春强谈道,得益于开源开放、可定制、可扩展等特点,大家认为RISC-V是为AI而生的架构,因此玄铁团队从处理器IP的角度做了很多工作,来进一步提高AI性能。

其工作包括在指令集扩展维度上做更多的定义和推动制定标准,通过扩展定义的方式实现CPU和AI算力更高效地融合、持续探索架构创新,以及加大与合作伙伴在AI芯片领域的合作。

在他看来,刚兴起的大模型对RISC-V来说是一个非常好的机会,因此达摩院在RISC-V指令集维度上后续会做多核并行计算、多核通信、存储带宽、大模型算法部署等方面的尝试与布局。结合RISC-V的可定制可扩展,CPU+AI架构将衍生出更多的创新可能性。

“(对于)RISC-V现在来说,AI肯定是最重要的方向。”孟建熠谈道,RISC-V在端侧大模型推理方面有能效比高的架构优势,今年会有一些客户发布基于玄铁处理器的大模型芯片。

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区

他谈到RISC-V要做好两件事:一是AI,因为AI原生时代有扩展性;二是高性能计算,当前缺少真正大规模量产的高性能RISC-V芯片。知合计算与达摩院更多在高性能上合作,希望RISC-V架构创新能够普及到高性能、高能效、AI算力。

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区

CPU是做SSD的强有力后盾。由于内存很贵,业界希望将一些参数往更下一级存储空间放,忆芯科技一直在关注这个方向。据忆芯科技合伙人朱旭涛分享,今年春节后苹果出了篇在AI PC上应用该技术的论文,涉及将大模型应用在SSD上,这对CPU也会提出更多的要求。

3.RISC-V商业应用生态大爆发:已跑通钉钉、福昕PDF、搜狗输入法

在玄铁RISC-V生态大会会场,国产RISC-V展品琳琅满目,类别包括5G小基带芯片、SSD芯片、AIoT芯片、服务器芯片等。

除了AI计算外,其中最受关注的当属PC应用。

会上,中国科学院软件研究所展示了基于RISC-V的开源笔记本电脑“如意BOOK”。这台电脑综合续航达12小时,集成了支持语音对话与文字交互的第三方大模型AI助手。

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区

如意BOOK搭载玄铁C910处理器、openEuler操作系统,可流畅运行钉钉、Libre Office等大型办公软件,首次打通了从底层芯片到操作系统到商用软件的RISC-V全链路。

2023年,钉钉成为第一个在RISC-V上跑通的商用IM产品。此外,基于玄铁处理器,RISC-V首次跑通了福昕PDF、搜狗输入法等商业软件。

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区

中国科学院软件研究所RISC-V负责人郭松柳期待有更多开发者基于如意BOOK进行原生RISC-V开发,共同丰富RISC-V的软件应用生态。

在其他行业场景,RISC-V芯片也走向落地。

在汽车领域,已有头部客户使用玄铁,达摩院会对可靠性、包括高实时的处理器做更多布局。

在通信领域,比科奇将RISC-V应用在5G基带芯片。其第一颗高性能、低功耗5G小基站物理层SoC芯片PC802已经规模化量产。

比科奇芯片研发副总裁沈钲说,作为整体解决方案提供商,比科奇希望把CPU的执行效率发挥到最高,RISC-V对集成而言是透明的,同时能效比高,峰值情况下能实现功耗不到10W。

他很看好RISC-V的生态发展。据他分享,当调度合理,很多RISC-V的小核可能比一个单一大核效率更高,因此比科奇PC802里面有两个16核处理器,其中16核做高层次协议栈消息解析,另外16核做空口数据包处理,都是有很多个小任务、有很强的并行处理要求。

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区

亚博智能推动RISC-V首次进入ROS机器人领域,基于玄铁处理器的Mlik-V Meles开发板研发SLAM建图与避障导航小车。

润开鸿联合达摩院在玄铁处理器上更好地发挥了OpenHarmony分布式技术应用优势,在金融、交通、医疗、教育等行业实现了商业化落地。

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区

4.软件是硬茬:算能要干“大炮仗”,首款RISC-V安卓设备今年登场

优化软件是推动RISC-V生态发展的关键。

算能宣布了“一个改变世界的大炮仗”——甲辰计划,目标在2036丙辰年之前,基于RISC-V实现从数据中心到桌面办公、从移动穿戴到智能物联网全信息产业覆盖的开放标准体系及开源系统软件栈,使RISC-V软硬件的生态成熟度达到或超过主流架构的生态成熟度;在所有基础关键行业领域完成面向RISC-V的适配与优化;形成超过1万人的顶尖人才网络。

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区

高鹏认为,以RISC-V为目标指令,基于并行编程语言、编译优化等技术,有望实现支持千/万亿参数大模型的新型开源编译软件框架,做到对CUDA的替代。

沈钲相信不止是在基带处理,其他领域做核选择时,很多都会选择RISC-V。而选择RISC-V内核的重要推手是很多底层工作,涉及芯片平台、软件、操作系统、开发接口等等。

朱旭涛称SSD芯片对CPU选型、实时性提升、软件开发体验非常关注,包括在使用效率上与业务有实际的贴合度、指令编译和编译系统对客户的友好度、CPU和外部的一致性管理等,希望CPU朝更精简指令集的方向做。

郭松柳提到RISC-V软件生态发展的问题:1)面向通用高性能计算场景的基础软件供给尚不完善;2)应用软件不丰富,复杂软件的迁移和优化需多方努力;3)应从基础软件层面解决指令可扩展带来的兼容性问题;4)计算需求加速变化——多样性、智能化,有待统一的前瞻布局。

他还分享了基础软件开源共建的方向:1)充分利用AI支持,加速软件移植和优化的进程;2)硬件与基础软件、应用软件联合起来,进行深度垂直优化,加强开源共享;3)操作系统、编译器提供指令多样性支持,一次编程,处处运行,编程环境和工具包要更强大、更通用;4)AI推理本地化、算力支持模块化、生态拓展兼容化。

孟建熠也谈道,RISC-V之所以可以走出来,得益于3点:1)体系结构发展历程中积累了大量的非优化的“遗存”,而RISC-V软硬件协同设计将带来10倍以上的性能收益;2)计算架构演进需要共性技术底座;3)生态本质是降低全行业使用成本,迫切需要软件生态统一。

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区

在搭建平台和补齐全栈能力上,阿里是国内涉足最早、投入最多的技术团队之一,不断推进从处理器IP到芯片平台、编译器、工具链等技术的软硬件深度融合,提供云上RISC-V软硬件全栈技术综合测试和评估服务,还设立RISC-V学院。

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区

去年8月发布的玄铁多媒体AI软硬件融合平台,形成了面向业务的流水线设计,方便用户在流水线的不同步骤上进行AI增强优化,内置多模态大模型、目标识别、图像分割、视频超分等算法。

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区

在软硬适配层面,玄铁完成与安卓、Linux、OpenHarmony、Debian、Fedora、Gentoo、Ubuntu、龙蜥、统信、openKylin、openEuler、OpenAnolis、创维酷开系统、RTT等国内外主流操作系统的全适配,还推动谷歌、红帽对RISC-V实现主线原生支持。谷歌安卓官方接受的首批RISC-V补丁就来自阿里。

国产RISC-V狂奔:端侧能跑大模型,AI计算成重头戏-AI.x社区

新的产业联盟也在组建。达摩院发起成立“无剑联盟”,Arteris、芯昇科技、新思科技、Imagination、中国电信研究院等首批加入。

联盟成员将基于玄铁处理器紧密推进IP协同、工具链优化、操作系统及软件适配、解决方案拓展、应用推广等工作,以持续降低RISC-V开发成本,缩短产品及应用上市时间,让终端厂商以更快的速度找到更适配的RISC-V方案。

5.结语:关键是让RISC-V生态伙伴们赚到钱

十年之间,RISC-V从一个青涩的学生项目发展成如今最受期待的开源创新芯片生态,一路加速产业化进程,在不同行业场景实现应用创新。

“在全球半导体产业发展史上,开源开放的RISC-V第一次让所有企业和开发者都能充分地、自由地贡献自己的智慧。”张建锋认为,RISC-V发展的动力不是要取代传统架构,而是以开放创新充分发挥自身优势。

“聚焦RISC-V发展中国芯片产业,有助于在新时期下贯彻实施「以科技创新催生新产业、新模式、新动能,发展新质生产力」的方针。”倪光南院士提出建议,我们应该发挥超大规模市场优势和人才优势,大力支持开源创新,与世界协同,促进RISC-V生态繁荣。

今天,在大厂阔绰出手匡扶、中小型厂踊跃参与的大趋势下,选择RISC-V的芯片和软件越来越多,RISC-V越来越像一场专业的“全民运动”,将其开源、灵活、模块化、可扩展的指令集架构与各个细分场景的高性能需求相结合,通过形成生态合力,裂变出更多创新的可能。

李春强透露道,达摩院会往产业化做更多事情,包括在RISC-V做更多原生,最关键的是,最终怎么让合作伙伴在RISC-V生态圈真正赚到钱。

本文转载自​芯东西​,作者: ZeR0

原文链接:​​https://mp.weixin.qq.com/s/G0rjjMynlU5i1GCZW4W2OQ​

收藏
回复
举报
回复
相关推荐