虽然现在深度学习已经其实取得了比较大的成功，比如在CV方面，NLP方面，语音识别等。但是现在深度神经网络能取得这样的显著成功，主要取决于可靠的data，也就是需要大量的可靠数据。这个可靠性主要是两方面，比如说在图像分类任务中，一方面需要很高质量的image。另一方面是它的label也要足够的可靠。label一般可能是通过众包或者等的一些方式得到的，难免在实际过程当中存在一些问题。

所以在一个更真实世界的setting下，首先数据肯定会受到现实世界中的各种的人为，或者非人为的噪声影响。另一方面，因为数据中含有噪声，所以现有的DNNs很容易地过拟合到有噪声的数据上，从而造成网络的泛化性会有所下降。有时，还可能会出一些很严重的over-confidence的问题。

之前的setting

在早期研究noise label的工作，在label上面有一定噪声，比如我们可能会把下边图里的狮子标成一个老虎等，产生一种标记上的错误。另一方面是对应于早期一些做CV中图像去噪的领域，图像本身就是质量比较低，有各种各样的噪声，比如高斯噪声，高斯模糊等这种常见的噪声。以前的工作可能更集中于去研究他们问题中的某一个，而其实忽视了它们两个可能联合存在于一个数据集里边的情况。

我们的setting

我们就提出了这种双重噪声的载体，给它细分的话，一方面是来自于image本身有一个这种noise的干涉，另一方面是label上面有一定的noise。对于image noise，在我们的工作中，可以被细分为两种噪声，一种是常见的image corruption，比如高斯模糊或者高斯噪声等，另一种是background noise。

比如我们一般从自然世界当中收集到的图片，有背景也有前景，图1中的第三幅图里面是一个小孩在草坪上牵着一条狗，但是我们去做实际的很多分类任务，可能我们只给他打了一个标签，小孩或者狗，这就难免会产生背景噪声在里边。另一方面就是label noise，比如打标签的时候给打错的情况。

神经网络不确定性技术，流行的技术有基于贝叶斯推断去做的，比如说BNNs，还有更简单的MC-Dropout技术，它们都可以基于贝叶斯定理去刻画不确定性。另一大类是Ensemble-Based方法，它是最近几年比较流行的一种不确定性建模方式，比如Deep-ensemble，BatchEnsemble。还有一类是Distance-aware uncertainty，这里边有一些比较经典的工作，比如说SNGP，DUQ模型。

这里我们评估了现有不确定性的方法在噪声数据上的表现，从上面的实验结果可以看出，uncertainty-based模型基本都要比确定性的神经网络的分类准确率要高，其中，deep ensemble所取得的性能最佳。所以基于这样的发现，我们选择用deep ensemble作为我们的backbone。

对于样本筛选，一方面我们要筛选出label上面有噪声的数据，另一方面要筛选出图像本身有噪声的数据。在我们的工作中，首先利用标签置信度（label confidence）来筛选标签上有噪声的数据。

另一个问题是label上面有噪声怎么去发现，假如本身image上面有1000多万人怎么去发现，然后这里边其实有的以前工作一些启发，首先灵感来自使用最大置信度进行分布外检测的成功，基于这样的就是启发，然后我们利用最大置信度检测带有x噪声的训练数据。

最后，我们提出了基于模型不确定性的目标函数。具体而言，如果数据的M-Con和L-Con小于设定的阈值，我们就最小化它的模型不确定性。反之，我们最小化一般的交叉熵损失函数。这里的模型不确定性可以通过模型预测和模型参数之间的互信息来测量。

实验上面我们首先可以看到在Synthetic (x,y)-noise on CIFAR-100 and TinyImageNet这种条件之下，我们做了不同的实验，然后实验发现其实就是我们的方法基本上比之前提出来对比是不错的性能表现。

这个实验的表里边包括的proposed-L和proposed-M,分别就是只基于L-Con构建的方法和只基于M-Con构建的方法，proposed-LM是两种confidence联合构建的最终方法。

我们直接去训练deep ensemble，相对于正常的DNN，其实它有也能取得一个不错的表现，特别在这种联合噪声场景之下，所以这个表格也证明了uncertainty-based方法确实能够去缓解噪声学噪声数据下over-confidence问题，进一步能够提升最终的网络的性能。

我们也做了web version比较更接近于现实的数据集，发现也有一定的效果。Ablation Studies,发现实际当中一般有5个network，就比较足够了，已经能取得相当不错的performance。

我们也做了不同预知下的性能，发现在很多在一定区间内的阈值，我们也能取得不错的实验效果。

总结来说，这项工作首先介绍了更具挑战性和更接近真实世界的噪声设置，然后对在双噪声下使用基于不确定性的模型进行了系统研究。我们发现，仅仅使用基于不确定性的模型是不够的，并进一步提出了一种用于学习基于不确定性深度模型的新工作流。根据经验，所提出的方法在合成（x，y）噪声和真实世界噪声数据集方面显著优于CIFAR-100和TinyImageNet上的竞争基准。