丢脸啊!作为国内一线的互联网公司因作弊,被禁赛一年

新闻
6 月 2 日,ILSVRC 的组织者指出,百度在测试过程中作弊,测试的频率远超规定次数。ImageNet 允许参赛方每周提交两组测试结果。然而,百度在 3 月份的 5 天内提交了逾 40 次测试结果。对此,百度承认违规行为,并且已经就此事道歉。

[[135790]]

5 月份的时候,百度超级计算机 Minwa 在计算机视觉挑战赛(ILSVRC)上取得了“世界***的成绩”,他们的系统在测试 ImageNet 分类数据集中的错误率仅为 4.58%,击败了谷歌、微软等竞争对手。

而在 6 月 2 日,ILSVRC 的组织者指出,百度在测试过程中作弊,测试的频率远超规定次数。ImageNet 允许参赛方每周提交两组测试结果。然而,百度在 3 月份的 5 天内提交了逾 40 次测试结果。对此,百度承认违规行为,并且已经就此事道歉

曾在 ImageNet 测试中获胜的人工智能公司 Clarifai CEO Matthew Zeiler 表示:

“这种做法十分糟糕,这正是为什么要将测试数据独立服务器上,并限制访问次数的原因。如果你知道了测试数据,你就会修改你的模型参数,怎么优化都可以。” 

目前,ImageNet 组织方已经要求百度停止在明年提交 ImageNet 测试成绩。 

[[135791]]

相关报道一、百度在人工智能基准测试中取得全球***的成绩

《华尔街日报》报道称,百度在人工智能基准(Artificial Intelligence Benchmark)测试中取得全球***的成绩。研究人员称,这与百度的秘密武器“超级计算机 Minwa”有很大的关系。

在测试中,Minwa 扫描了拥有百万张图片的数据库 ImageNet,并“学会”按照预先确定的 1000 个类别对图片进行分类。在这样的测试中,错误率越低代表识别越精确,目前,一般人的识别错误率为5%。微软的软件是 4.94%,Google 是 4.8%,而百度是 4.58%。值得一提的是,早前百度在这样的测试中,错误率为 5.98%。与今天的相比,进步比较大。

或许因为这样,在接下来的 18 个月里,百度计划建造运算速度更加快,更加高级的计算机:一个每秒能够执行7*1015 次计算的超级计算机,这足以跻身全球超级计算机排行榜前十名。

据悉,百度的 Minwa 包含 36 个服务器节点,每个节点由 2 个六核英特尔 Xeon E5-2620 处理器和 4 个 NVIDIA Tesla K40m GPU 构成。Minwa 超级电脑有 1.7TB 设备内存和 6.9TB 主内存。

相关报道二、ILSVRC 的组织者公布详情,百度道歉

北京时间 6 月 2 日下午消息,百度在近期的大规模视觉识别挑战赛(ILSVRC)中被曝存在违规行为。ILSVRC 的组织者已经公布了具体详情,而百度的相关团队已表示了道歉。

以下为邮件全文:

ILSVRC 社区成员:

这是继 2015 年 5 月 19 日公告之后的后续声明,其中包括更多细节和测试服务器的状态。

从 2014 年 11 月 28 日至 2015 年 5 月 13 日,百度一个团队使用至少 30 个帐号向测试服务器进行了至少 200 次提交,远超每周只能提交两次的限制。这其中包括在短时间内极高的用量。例如,在从 3 月 15 日至 3 月 19 日的 5 天时间里,提交次数超过了 40 次。图A显示了与百度团队相关的 ImageNet 帐号的提交次数。图B显示了这些帐号与所有其他帐号活跃程度的对比。

图A
图A

图B
图B

这一期间获得的成果在近期的 arXiv 论文中进行了报告。由于违反了测试服务器的使用规定,这些结果可能无法与其他团队获得并报告的结果对比。通过在测试服务器上测试多种略有不同的解决方案,有可能会出现以下情况:1) 基于测试结果,在一系列类似解决方案中选出***方案,从而获得不大,但可能很重要的优势;2) 直接基于测试数据,而不是训练和验证数据,选择进一步的研发方式。

我们于 2015 年 5 月 14 日注意到了这些违规,并于 2015 年 5 月 17 日通知了论文作者。2015 年 5 月 22 日,在进行讨论,并征求我们研究社区高级顾问的意见之后,我们通知作者:

1. 他们通过 ImageNet 测试服务器获得的结果无法与他人的结果直接对比。

2. 对百度基于这些结果新提交的任何内容,我们持怀疑态度。这包括关于 ILSVRC 挑战任务的所有提交内容,以及共享数据集的一部分。因此,我们要求他们在未来 12 个月内停止向评估服务器和挑战任务提交任何内容。

我们正在与涉及此次事件的团队进行沟通。他们请求我们向整个社区转发包括以下声明在内的消息。需要指出,为了保持中立性和独立性,我们没有也不能与任何团队合作,以表述或评估结果。

目前测试服务器已经重新上线。我们期待继续在图像识别领域取得进展。

ILSVRC 组织者

以下是来自百度该团队的消息:

ILSVRC 社区:

近期,ILSVRC 组织者联系了我们异构计算团队,并告知我们,我们超过了每周允许向 ImageNet 服务器进行提交的次数(在我们项目的生命周期中约为 200 次)。

我们对这一错误表示道歉,并将继续评估结果。我们已向研究论文《Deep Image: Scaling up Image Recognition》加入了注释,并将在了解更多情况后提供相关的更新。

我们支持 ImageNet 挑战的公平性和透明性,并将致力于科学发展的诚实性。

吴韧,百度异构计算团队

责任编辑:林师授 来源: 雷锋网 整理
相关推荐

2015-10-19 09:35:23

iOS面试

2015-10-19 10:28:14

2013-01-11 16:05:34

2013移动互联网变现

2012-11-19 10:20:17

小米MIUI

2017-09-26 10:42:46

2016-10-13 16:20:11

2020-12-21 21:10:50

阿里腾讯工业互联网

2013-05-06 09:30:17

互联网创业

2021-01-05 10:36:40

互联网数据技术

2013-08-26 15:09:23

互联网测试

2017-11-27 11:18:56

2012-06-19 09:50:32

互联网IPV6

2016-03-15 22:35:50

漏洞智能设备安全网店刷单

2019-10-29 16:42:36

第一线

2019-04-11 18:56:11

互联网从业者工资时薪

2010-01-20 09:38:45

互联网员工

2013-12-18 16:21:32

未来互联网移动互联网

2020-01-02 14:01:15

互联网数据5G

2013-01-25 10:31:02

互联网公司移动互联网船票

2020-03-23 12:35:12

互联网阿里当当
点赞
收藏

51CTO技术栈公众号