CL“信心学习”: 专注样本质量的训练，MIT与谷歌的半监督新方法，Confident learning原理与代码cleanlab

每一次挫败都值得“反复咀嚼”，人类和AI都应如此，而人类似乎从中感受更多的痛苦。也许这种痛苦源于更“高层”的“感知”。 — David 9

人类许多痛苦来源于无法躲避的事物和想要躲避的“主观”（潜意识或非潜意识）。所以，懂得和“情绪”好好相处被视为“高情商”；懂得和“失败”好好相处被视为“智慧”。那么，好好和“数据”相处，恐怕也是AI模型的进步。

不得不承认，没有任何数据集是完全干净的。除去人工标注的错误，单个样本的标签也有歧义，下图是ImageNet中的噪声图像：

来自：https://arxiv.org/pdf/1911.00068.pdf

图像中的拼图（PUZZLE）上画着鼓（DRUM），那么这张图像分类应该是“拼图”还是“鼓”？超市（GROCERY STORE）内部的照片有香蕉（BANANA）的货架，那么这张图像应该归为“超市”还是“香蕉”？

同样MNIST也有难分的图像：

来自：https://github.com/cgnorthcutt/cleanlab

这些广泛存在的噪声数据，如果不和这些数据“好好相处”，任何普通的神经网络和传统算法都无可奈何（因为低级感知无法感知语义歧义）。

在不改变模型情况下，MIT和Google的研究人员试图用所谓的“信心学习”（Confident learning）方法，半监督的方式清洗数据。

先看一眼整体框架：

来自：https://arxiv.org/pdf/1911.00068.pdf

首先，看看我们有什么？显然，有3样东西：一堆已知的（标注过的）噪声样本：

一个对噪声一无所知的模型Model：

还有

...阅读更多...加入David9的星球群阅读所有文章:

加入David9的星球群，获得通行密码 , 阅读全文

发布者

David 9

邮箱：yanchao727@gmail.com 微信: david9ml

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注