英伟达新品“掌心AI超算”,¥1800跑8B多模态模型,算力暴增70%价格腰斩

人工智能
新版Jetson Orin Nano开发版套件,算力从40 TOPS涨到67 TOPS(INT8),内存带宽增加50%,达到102GB/s,功耗仅25瓦。

“英伟达版树莓派”这波良心了,性能涨70%,降价50%。

老黄召开厨房发布会,从烤箱里端出这台“掌心AI超算”。

图片怎么不穿皮衣了

新版Jetson Orin Nano开发版套件,算力从40 TOPS涨到67 TOPS(INT8),内存带宽增加50%,达到102GB/s,功耗仅25瓦。

价格却降了50%,从$499降到$249(约人民币1800元)。

67 TOPS什么概念?

  • 比目前英特尔、AMD或高通AI PC中的大部分NPU都快
  • 能跑主流的7B、8B大模型量化版,如阿里Qwen,Llama等
  • 最高支持4个摄像头,也能跑8B的视觉语言模型和ViT模型

图片

英伟达称这是“最实惠的生成式AI超级计算机”。

无论是用来创建基于RAG的聊天机器人、视觉AI Agent,还是部署基于AI的机器人,都是理想的解决方案。

图片

开发套件包括一个Jetson Orin Nano 8GB系统级模块(SoM)和一个参考载板,可用于边缘AI应用的原型设计,功耗最高25w。

采用6核Arm CPU和NVIDIA Ampere架构GPU,GPU配备1024个CUDA核心和32个张量核心,支持多个并发AI应用管道和高性能推理。它最多可以支持4个摄像头,提供比以前版本更高的分辨率和帧率。

图片

The Register估计在运行4位量化版Llama 3.1 8B模型时,能达到约18-20 tokens/s的速度。

Jetson支持一系列英伟达AI软件,包括用于机器人的NVIDIA ISAAC、用于视觉AI的NVIDIA Metropolis 和用于传感器处理的NVIDIA Holoscan。

另外可以使用NVIDIA Omniverse Replicator生成合成数据,并使用NVIDIA TAO工具包微调预训练模型,可以缩短开发时间。

老黄称这个系列为一种全新的处理器——机器人处理器。

推出第一代产品时,没人理解英伟达在做什么
到现在,它已经支持了各种机器人,带轮子的、两条腿的、三条腿的。

图片

额外的好消息是,新推出的软件更新,也将为买过旧版开发套件的用户带来生成式AI性能提升。

有网友表示,黄仁勋就是新的圣诞老人。

图片

参考链接:
[1]https://blogs.nvidia.com/blog/jetson-generative-ai-supercomputer/。
[2]https://www.theregister.com/2024/12/17/nvidia_jetson_orin/。

责任编辑:姜华 来源: 量子位
相关推荐

2024-10-09 14:52:00

2021-06-22 16:38:56

曙光

2024-08-14 13:50:00

模型训练

2024-06-04 13:00:07

2021-06-25 10:40:38

阿里云AIM6

2024-03-19 09:19:13

GPU英伟达

2023-08-18 17:24:11

联想问天WA7780

2023-04-05 14:31:49

AI超算人工智能

2024-10-21 10:20:00

训练模型

2024-08-16 12:46:08

2023-07-21 15:05:27

超算算力

2023-01-05 16:48:24

2024-10-17 18:52:41

点赞
收藏

51CTO技术栈公众号