机器学习大赛又出骗子!窃取私有数据集,一万美元到手

时间:2020-03-16 11:15:54 作者:admin 热度:99℃

世界最知名的数据挖掘以及机器学习竞赛平台Kaggle刚刚宣布,获得最新竞赛的冠军团队Bestpetting因涉嫌作弊而被剥夺了冠军头衔。该团队通过宠物领养网站Petfinder.my收集Private Leaderboard的答案,然后将这些数据隐藏在他们提交的文件中,并于2019年4月9日赢得年度冠军。在总共25000美元的奖金池中,Bestpetting团队获得了10000美元,如今这笔资金已经无法追回。

何为Kaggle竞赛?

Kaggle(谷歌子公司)是一个围绕建立机器学习模型的竞赛而建立起来的在线社区,该平台的奖金池高达150万美元,吸引了各种各样的数据玩家。Kaggle为竞赛提供数据集,以及将用于决定获胜而提交的指标。参赛者分析给定的数据,构建模型以匹配期望的结果,然后提交结果(通常与代码一起提交)。为了防止有人作弊,机器学习竞赛使用没有标记的数据,并分两个阶段使用:

第一,当比赛结束后,参赛者只拥有作为未标记数据的数据集中的“私人”部分,用于帮助选择获胜者。在理想情况下,此数据可以表示模型将如何对以前从未见过的数据执行相关操作。

第二,为了在比赛期间对参赛者进行排名,参赛团队提交的作品会根据数据集中专门用于leaderboard(临时成绩)的部分进行评分。就像“私人”测试数据一样,参赛者可以使用这些数据,但没有标准。单独针对leaderboard指标进行优化的团队,通常会因为不适用于数据集的“私人”部分而失败。

使用私人数据作弊

这种竞赛形式的结果是,如果某个团队获得了私有测试数据集的基本事实答案,那么它获胜的可能性就会大增。但作弊团队构建的模型往往是无效的,会使竞赛变得毫无意义。在这种情况下,作弊者会在提交答案的同时附上自己的答案。

其他的作弊方式可能更难以察觉。其中一种方法是使用完整的数据集来优化超参数,从而创建一个看似更有效的模型。也许作弊团队会选择更容易检测的方法,因为他们根本没有能力创建值得被选入leaderboard的模型,也有可能是因为他们不愿费更多心思。

解决这些问题的办法可能是将私人数据完全排除在竞赛之外,提交必须包括提供API来生成预测的代码,但这也将防止参赛者知道私人和leaderboard数据中的功能分布。

Kaggle竞赛的阴暗面

Kaggle竞赛有很多潜在的问题。有人在检测信用卡诈骗的竞赛中偶然发现了一个例子。一种流行的模型正在使用来自未来的信息进行培训,这将使其在实践中无法使用,毕竟银行无法预测这些尚未发生的事情。许多模型使用数据集的方式会产生更高的分数,但会使模型对竞赛组织者毫无用处。不过,这些模型仍然可以赢得竞赛,因为他们没有违反任何规则。

由于可能存在的这些漏洞和无用结果,竞赛组织者必须对他们的数据和规则格外警惕和谨慎。有些人要求举行多轮竞赛选拔胜者,有些人建议平均分配奖金给更多的顶级参赛者。

作弊惯犯

Bestpetting团队由帕维尔普莱斯科夫(Pavel Pleskov)、纳雷克马洛扬(Narek Maloyan)和费多尔多布里扬斯基(Fedor Dobryanski)组成。这并不是普莱斯科夫第一次破坏Kaggle竞赛,也不是第一次被指控作弊,只是过去Kaggle竞赛组织方没有相关预防措施,而且普莱斯科夫本身也是Grandmaster级别的大牛。

图2:在Kaggle竞赛中被曝作弊的帕维尔普莱斯科夫

普莱斯科夫被剥夺冠军头衔,并被禁止进入Kaggle平台,记者还联系了普莱斯科夫的雇主H2O.ai,请其发表评论。后者的发言人英格丽德伯顿(Ingrid Burton)回应称:“今天早些时候,我们已经知道了情况。普莱斯科夫不再与H2O.ai有关联,立即生效。我们还将与Petfinder.my联系,看看我们能为他们提供什么帮助。”

我门没有找到费多尔多布里扬斯基(Fedor Dobryanski)的进一步信息,他也被禁止进入Kaggle平台。不过,纳雷克马洛扬(Narek Maloyan)没有被禁。

Kaggle有更光明的未来

在推动机器学习向前发展方面,Kaggle始终是一股强大的力量。通常获奖的作品会展示出最好的工具和实践,并激发发明新技术的灵感。尽管不实用的模型和作弊行为伤害了竞赛组织者、Kaggle品牌和整个生态系统,但好的和潜在的影响远远大于坏的影响。

也许这是Kaggle翻开新篇章的标志。如果他们想要重建人们对其平台及其社区失去的信任,他们有很多事情需要去做。推动可重复性、公平性和实用性的建模竞赛,正是机器学习所需要的,希望我们能实现这样的目标。

声明:本文内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:26887757@qq.com 进行举报,并提供相关证据,工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。