图片迟迟加载不了、一片马赛克?谷歌开源模型优先显示图像受关注部分

人工智能 新闻
本文提出注意力中心模型,用于预测人眼在图像上首先注意到的位置,从而提高用户体验。

当观察一副图像时,你会先注意图像的哪些内容,或者说图像中的哪些区域会首先吸引你的注意力,机器能否学会人类的这种注意力形式。在来自谷歌的一项研究中,他们开源的注意力中心模型(attention center model)可以做到这一点。并且该模型可用于 JPEG XL 图像格式上。

举例来说,下图是注意力中心模型的一些预测示例,其中绿点为预测的图像的注意力中心点。

图片

图像来自 Kodak 图像数据集:http://r0k.us/graphics/kodak/

注意力中心模型大小为 2MB,格式为 TensorFlow Lite。它以 RGB 图像作为输入,并输出一个 2D 点,该点是图像上的预测注意力中心点。

为了训练模型来预测注意力中心,首先需要一些来自注意力中心的真实数据。给定一张图像,一些注意力点可以通过眼动仪收集,或者通过鼠标点击图像来接近。该研究首先对这些注意点进行时间滤波,只保留最初的注意力点,然后应用空间滤波去除噪声。最后,计算剩余注意力点的中心作为真值注意力中心。下面显示了获取真值过程的示例说明图。

图片

项目地址:https://github.com/google/attention-center

注意力中心模型架构

注意力中心模型是一个深度神经网络,以一张图像为输入,使用预训练分类网络如 ResNet、MobileNet 等作为骨干。从骨干网络输出的几个中间层被用作注意力中心预测模块的输入。这些不同的中间层包含不同的信息,例如,浅层通常包含较低层次的信息,如强度 / 颜色 / 纹理,而更深层次通常包含更高、更语义的信息,如形状 / 目标。

注意中心预测采用卷积、反卷积调整算子,并结合聚合和 sigmoid 函数,生成注意力中心的权重图。然后一个算子(在例子中是爱因斯坦求和算子)可用于从加权图中计算中心。预测注意力中心和真实注意力中心之间的 L2 范数作为训练损失。

图片

此外 JPEG XL 是一种新的图像格式,允许用户在对图像编码时,确保有趣的部分率先显示。这样做的好处是,当用户在网上浏览图像时,图像中吸引人的部分可以率先显示出来,也就是用户首先看到的部分,在理想情况下,一旦用户看向图片其余地方时,图像的其他部分也已经就位并已解码。

在 JPEG XL 中,图像通常被划分为大小为 256 x 256 的矩阵, JPEG XL 编码器将在图像中选择一个起始组,然后围绕该组生成同心正方形。Chrome 浏览器从 107 版增加了对 JPEG XL 图像的渐进解码功能。目前,JPEG XL 还是一个实验性的产物,在 chrome://flags 中通过搜索 jxl 即可启用。

要想了解渐进式加载 JPEG XL 图像的效果,可以访问网址进行查看:

https://google.github.io/attention-center/

责任编辑:张燕妮 来源: 机器之心
相关推荐

2012-05-25 14:41:19

JavaScript

2021-05-31 10:30:46

密码马赛克工具

2009-08-17 13:07:27

C#马赛克算法

2022-09-07 08:37:34

DCGAN图片AI

2021-02-24 10:19:43

人工智能马赛克

2020-12-09 14:18:46

AI 技术马赛克

2018-07-03 08:50:12

人工智能深度学习CNN

2020-12-02 15:07:23

算法开源AI

2015-10-15 17:31:14

微软

2015-04-30 10:29:32

WOC视频会议优化方案深信服

2017-02-10 18:13:46

谷歌大脑人工智能

2017-04-10 09:17:08

神经网络分辨率像素递归

2024-07-29 08:43:57

2017-02-09 07:50:32

复原马赛克科技新闻早报

2018-09-12 16:30:45

Python编程语言马赛克画

2023-11-22 11:20:38

2011-08-18 15:56:03

深信服广域网优化

2020-05-07 11:03:32

AI 马赛克工具

2012-03-16 16:33:35

视频会议马赛克深信服

2021-01-04 05:36:23

AI人工智能深度学习
点赞
收藏

51CTO技术栈公众号