骁龙8四倍AI算力硬科技：上可超分下可增强信号，多个算法同时跑

从异构算力，到可以升级的 GPU 驱动，高通的手机芯片，总能引领行业的新方向。

11 月 30 日，高通发布的全新一代骁龙 8 移动平台（骁龙 8 Gen 1）让我们对即将推出的安卓旗舰手机有了期待，从最近解禁的跑分来看，这块芯片 GPU 峰值性能提升了 59.7%，在 GFXBench 上分数甚至要比 iPhone 13 Pro 的 A15 还要高。

这还不是最大的，全新一代骁龙 8 可谓进行了全方位的升级，其搭载的第 7 代 AI 引擎实现了性能翻四倍的表现，提升了不止一个台阶，带来了全新的体验。

除了展台上的工程机可以稳定 60 帧玩《原神》，在骁龙技术峰会上，人工智能的概念贯穿始终，骁龙已被打造成为了所有移动终端协同工作的核心。

多个 AI 模型同时跑

过去，App 通常同时只会运行一到两个神经网络。但为了更好的体验，我们的应用中增加了越来越多的机器学习模型，随着终端特性的发展，这些神经网络每年又都在变得更复杂。

高通表示，第 7 代 AI 引擎可以在维持低功耗的同时搞定这些需求。

作为重要手机芯片厂商的产品，骁龙的 AI 引擎正在为 18 亿人提供支持，已经实现的一些强大功能包括：在拍摄照片时，机器学习算法会自动帮助人们调整相机设置，获得最优成像效果。AI 还能识别并理解用户语音，并基于用户指令完成任务。在一些品牌的手机上，系统应用甚至能够实时将人们的对话翻译成不同语言。

骁龙的「专用 AI 处理单元」Hexagon 处理器的情感判断处理速度要比 CPU 快 30 倍，允许手机进行诸如 Transformer 架构模型的本地处理。

高通展示了 Hugging Face 通过自然语言处理模型 BERT 处理分析手机上所有下拉通知中的内容，AI 会分析每条信息文字中的语气和情绪，将其按照紧急、重要、不紧急等情形分类显示，让你不会错过老板催促的邮件。如果消息太多找不到，你还可以用语音发出指令搜素特定类型的消息。

在传感器中枢模块上，骁龙 8 还独创性的加入了一枚「always on」芯片模块，这枚功耗极低的 ISP 可关联终端的摄像头，带动相机 7×24 小时全天候启动，从而带来一些方便和安全特性——如果探测到二维码，手机将自动唤醒应用进行识别；在你用完手机放在桌面上时，它会自动锁屏；如果你拿着手机，有别人越过你的肩膀偷看，手机也会自动锁屏；又或者你想给别人分享手机屏幕主屏上的内容，这时短消息的提示横幅会被自动隐藏。

很多人在买来手机时有一件要做的事就是把各种息屏显示、抬手唤醒功能关掉以追求省电，不过在骁龙 8 上你不用这么做了，新一代传感器模块 AI 算力提升了 75%，能耗降低了 50%。高通还承诺新的 ISP 在工作时不进行拍照或摄像，数据不出模块单元，可确保用户的隐私安全。

高通展示了基于第 7 代 AI 引擎的摄像头 AI 应用。手机摄像头支持更出色的自动对焦、自动曝光和自动白平衡调节，手势检测让用户无需按下任何按键即可拍照，还有基于 AI 的视频背景虚化等特性。

背景虚化 + 面部识别 + 姿态识别 + 手势，多种神经网络的效果现在已经可以同时在手机端实时完成了。

人脸上的细节也很重要。高通 Spectra 首次全面取代了构成摄影基础的传统算法，让 AI 彻底接手了拍摄任务 ，其可识别人脸特征，确定拍摄对象的眼睛是否睁开，甚至是否在微笑。全新的人脸特征引擎可以检测 300 个特征点，而且还针对更多人脸特征进行了训练，包括眉毛、嘴唇、下颌线等。

除了对焦和特效，AI 引擎和相机引擎可以协同工作，每秒处理 32 亿像素，实现更强的变焦能力。去年搭载于骁龙 888 上的「夜间模式」将大约六帧照片组合在一起形成合成图像。而骁龙 8 的相机多帧大引擎将结合大约 30 帧，提供「五倍的夜间模式」。因为在暗光条件下有更多的像素被追踪到，相机可以智能过滤掉因手抖引起的模糊，进而获得更清晰的图像。同时，人工智能还可以消除广角镜头的画面扭曲。

随后是虚拟现实技术，高通展示了 AI 变革购物体验的新方向。通过 AR 技术，人们可以在家中布置虚拟家具、虚拟试穿运动鞋，实现更多个性化的购物体验。这些应用都是通过高通 AI 引擎优化实现的。

在骁龙 8 移动平台上，高通还将 AI 技术融入到调制解调器和射频系统中，带来了全球首个 AI 天线调谐技术，检测用户握持终端时手部的位置并切换接收信号的天线，旨在实现更快数据传输、更佳网络覆盖和更久电池续航。

第 7 代 AI Engine，性能能效都翻倍

这些都是如何做到的？我们知道，要想跑得起 AI 模型就需要强大的算力。在骁龙 8 移动平台的 AI 引擎上，高通实现了迄今为止最大的一次 AI 算力进步。

具体来说，第 7 代 AI 引擎包含多个低功耗的 AI 子系统，由下一代 Adreno GPU、Hexagon 处理器、Kryo CPU 和第 3 代高通传感器中枢（Sensing Hub）组成，它们分别处理不同的计算需求。整个 SoC 的多个计算单元实现了 6TOPS 的异构算力。

在应用广泛的一些 AI 模型上，如 inceptionv3、mobilenet_v2、Resnet50、VDSR 等，推理速度比前代 AI 引擎快 4 倍，同时 AI 运算能效比前代提升了 1.7 倍。

第 7 代 AI 引擎能够实现如此量级的提升，很大程度上得益于新一代的 AI 软件：除了 Hexagon 处理器张量计算性能翻倍，共享内存翻倍以外，其 AI 软件性能也提升了 2 倍，现在支持了 INT8 + INT16 的混合精度计算。

更大的内存意味着芯片可以运行更大、更深的神经网络，而更高的精度则可以让算法推理的结果更加准确。开发工具上，新的神经网络处理 SDK 更新了算子支持，Qualcomm AI Engine Direct 可直接接入移动端深度学习框架 TensorFlow Lite 和 Android NN API，方便开发者将自己的 AI 模型更快地应用在移动端。

用手机完成台式机的任务

新的 AI 技术层出不穷，要如何把机器学习模型塞进手机呢？对于工程师们来说这是一个非常有挑战性的工作，使用 AI 技术自动来完成是一个很有前景的方向。高通和谷歌合作，将神经网络架构搜索（NAS）引入了骁龙平台，并已集成进第 7 代高通 AI 引擎。

正如 AutoML 的思路，高通提供的 NAS 工具 Neual Processing SDK 可以将硬件配置、工作需求（如帧数、准确度）作为参数输入，由 AI 算法帮助工程师快速实现深度学习模型的最优设计。

AI 可以从最基础层面开始，根据初始网络搜索并进行优化构建符合移动端硬件的模型。它能够考虑时延、网络规模、精度、功耗等目标，让模型在手机上运行得更快，而开发者的工作时间也可以从数月缩短到数周。

骁龙是全球首个支持 Google Cloud Vertex AI NAS 的移动平台。此前，高通有关提炼最佳神经网络架构的研究 DONNA 还被人工智能学术顶会 ICCV 2021 接收。高通希望在未来让 NAS 功能帮助多端部署工作，让 AI 模型快速部署至手机、笔记本电脑、VR 设备和汽车上。

除了以上提到的技术和用例之外，骁龙 8 的 AI 引擎还能够实现哪些黑科技？比如，高通表示他们在与 Sonde Health 合作，开发一种基于音频识别的诊断技术，让手机只需要倾听你的声音就可以判断是否有抑郁、哮喘等健康问题。

当然还有游戏画面中的超分辨率技术：

通过利用历史帧数据和 GPU 优化运动估计，Adreno 图像运动引擎可以让一些游戏的画面以双倍帧率运行，同时保持近乎相同的功耗。

如今全球的游戏玩家已经超过 30 亿，而手机游戏每年的收入占比高达 52%。这其中，支持 Snapdragon Elite Gaming 的芯片组出货量已经超过 8 亿颗，高通的新技术会让很多玩家受益。按照高通的说法，就是要让移动游戏玩家享受端游级游戏体验。

高通和各家 OEM 厂商、科技公司仅在今年就交付了超过 200 个机器学习模型。未来我们还可以看到更多以往无法想象的技术在手机上出现。

开启移动体验的新变革，就需要最先进的技术。明年搭载骁龙 8 的旗舰手机上，性能强大，功耗降低，功能丰富的 AI 技术会给我们带来怎样的体验？让我们拭目以待。