去年,美国一对夫妇(Steven 和 Andrea Frank)开发了一个AI程序,用来帮助专家鉴定艺术品。
之前,他们用这个AI程序辨别了伦勃朗和梵高的画作。
最近,两人又将目光转向了达·芬奇的画作《救世主》(Salvator Mundi)。
这幅画是拍卖市场迄今为止成交的最贵的艺术品,2017年以4.5 亿美元(约合29亿人民币)在纽约佳士得夜拍上成交。
然而,这究竟是不是达·芬奇所画,至今都还有人怀疑。
利用CNN检测艺术伪造:从解决问题出发
夫妻二人开发AI程序的过程可谓是条理清晰,发现问题,解决问题。
首先,他们分析了使用神经网络分析绘画的困难。
一是尺寸,一幅画的高分辨率图像对于传统的 CNN 来说太大了,而适合 CNN 的图像又可能缺乏需要辨别的信息。
二是数据,神经网络需要数千个训练样本,「数量就是质量。」可是,即便是最多产的艺术家,一辈子也画不出这么多画。
意识到困难后,两人感慨,「难怪在解决绘画归属的争议上,计算机贡献甚微。」
放弃是不可能的!Steven很快发现,可像病理学家处理数字化活检载玻片那样,将图像分解成更小的片段。
这样,尺寸和数据这两个困难都解决啦。因为单个图像可以生成大量训练图块,尤其是当这些图块可以重叠时。
另外,他们的系统通过训练和测试后,可以确定图块的最佳尺寸。
伦勃朗《年轻的绅士肖像》的 400×400 像素图块
接下来,确定哪些图块可以使用。
这也是个难题,比如,《救世主》有的区域图片信息十分丰富,而有的区域则只是背景,平平无奇,不好分辨。
训练CNN时,信息少的区域可能起不了什么作用,甚至还会误导CNN。
所以,计算机需要某种标准来帮助自动且一致地识别可行的图块。
一番思考后,Steven从信息论得到了启发,他发现,挑选背景和视觉单调区域时可以排除低熵的图块。
信息论创始人克劳德·香农(Claude Shannon)
结果是,计算机选出来的图块很可能和人们自己挑选的图块吻合。
在《救世主》中,选出来的图块包括耶稣的脸、侧卷发和祝福之手,这和学者们争论著作权时的关注点是一致的。
这个问题解决后,就该数据集了。
他们决定先从荷兰大师伦勃朗(Rembrandt) 的肖像画开始实验。
这个数据集应当包伦勃朗本人和其他人的画作。
但是,问题又来了。
如果用50 幅伦勃朗画的肖像,和 50 幅随机选择的其他艺术家的肖像画作,训练出的系统可以区分伦勃朗和毕加索(两人风格大相径庭),但是难以分辨出他的学生和模仿者,更不用说伪造者了。
可是,如果在训练集中,所有不是伦勃朗画的作品都和他本人画的太过相似,CNN 就会过拟合。
这时候Andrea上场了,她编了一个非伦勃朗画作的数据集。
其中,一些作品非常接近伦勃朗本人画的,另一些则是令人能联想到伦勃朗但很容易与他本人的作品区分开来的。
他们还发现,简单的 CNN 设计比更复杂(也是更常见)的设计效果更好。
因此,他们使用的CNN只有五层。在区分伦勃朗画作的实验中,准确率超过 90%。
区分文森特·梵高(Vincent van Gogh)的风景画时,精度也非常高。
做完这一系列工作,两人才用这个AI系统来辨别《救世主》。
因为,这是一个更大的挑战,达·芬奇留存下来的画作数量太少了,只有不到 20 幅,其中一些还是未完成的草图…
不过最终,他们获得了合理的图块分类,并生成了一个极有说服力的概率图。
结果显示,画作背景和祝福之手存疑。这和专家们的意见是一致的。
这幅画曾经过广泛修复,包括对背景完全重新粉刷。另外,专家们对谁画了祝福之手意见不一。
至于CNN 究竟是如何找到关键细节的,Steven说,他也不知道。
「CNN的中间部分是一系列卷积层,可以逐步分解图像的细节,再以某种不可思议的方式进行分类。」
夫妻同心,齐力建CNN
出人意料的是,Steven 并不是计算机科学家,而是摩根路易斯律师事务所(Morgan Lewis )的一名知识产权律师。
2012 年,完成 EdX 的电子学入门后 ,他发现自己爱上了这类在线课程,根本停不下来!随后,他通过在线学习获得了哥伦比亚大学的人工智能专业毕业证书。
他的妻子Andrea是一位艺术史学家,她花了很多时间策划艺术图像,目前正考虑退休。
Steven指出,科学测量可以确定一幅画的年代和画作细节,但是无法直接判断其创作者,因为这需要对风格和技术作出准确的判断。
不过,计算机分析非常适合完成这一判断任务。尤其是神经网络这种擅长检测图案的计算机算法。
目前,CNN已有广泛应用,包括识别人脸和协助自动驾驶。
那为什么不用CNN来解决更多现实问题?
于是,两人共同完成了这一「利用CNN检测艺术伪造」的项目,他们还给自己的AI系统取名为「The A-Eye」。