ICLR2018抢先看！深挖对抗训练：提高模型预测分布的鲁棒性, Wasserstein鲁棒更新方法WRM，以及Earth Mover's Distance

虽然ICLR2018将在今年5月召开，但是双盲评审已经如火如荼。目前评审结果排位第一的论文试图解决神经网络在预测分布上缺乏鲁棒性的问题。

我们都知道神经网络和人一样也有判断“盲点”。早在2015年Ian Goodfellow 就提出了攻击神经网络的简单方式，把cost函数 J（θ, x, y）对输入图片x求导，得到一个对神经网络来说loss下降最快的干扰噪声：

一旦加入这个细微噪声（乘以0.007），图片的分错率就达到了99.3% ！

这种生成对抗样本的攻击方法被称为FGM（fast-gradient method快速梯度法），当然还有许多攻击方法, 下面是对数字8的测试攻击样例:

有了攻击方法我们就能增加神经网络的鲁棒性, 那么FGM是加强模型鲁棒性的最好参考吗？

该论文的答案是：NO ！

论文提出了Wasserstein鲁棒更新方法WRM，文章指出，通过WRM训练出的模型有更鲁棒的训练边界，下面是David 9最喜欢的论文实验图：

来自：https://openreview.net/pdf?id=Hk6kPgZA-

杰出的论文不仅应该有实用的方法，更应该有让人豁然开朗的理论，不是吗？

上图Figure 1是一个研究分类边界的人工实验，蓝色的样本点和红色的样本点是两类均匀样本，因为蓝色样本比红色样本多得多，所以分类边界倾向于向“外”推。ERM，FGM，WRM是通过三种对抗样本生成方式，更新和优化模型决策边界的效果。

Figure 1告诉我们 3个重要信息：

1. 决策边界中，越是有棱角，越是说明模型决策存在敏感的漏洞（如上面提到的FGM攻击），越是圆滑越说明模型的被攻击的漏洞越少。

2. 即使用同样的更新方法(如FGM), 用不同激活函数ReLU和ELU会有较大的边界差别. 很明显, 光滑的ELU函数较ReLU函数在各个方向上有WRM更好的鲁棒性 . 还记得我们写过的GAN代码吗 ? 较强的判别器用了光滑的tanh激活函数, 也是为了有更强的判别能力.

3. 该论文提出的WRM方法在ELU下有最好的鲁棒性边界.

那么究竟WRM比FGM等攻击有什么优势呢 ? ? 从WRM背后的理论可以看出, WRM并不是像FGM随意地求梯度.

我们首要目的是找到一个数据分布z’，能够最大限度地增加模型的鲁棒性。文章不仅考虑了让模型有最大loss，而且还考虑了让数据扰动的程度最小：

其中l是模型θ在扰动后数据z’上的loss，c(z’，z0) 是从原始数据分布到扰动数据分布变化的cost值（文章使用的是Wasserstein距离）。cost越大，扰动的成本越大。所以最终目标找到z’， 使得上式的值最大。这样的扰动数据z’，不仅使模型loss最大，而且还用最小的cost扰动原始数据。其中γ是惩罚因子，惩罚越大，找到的z’的扰动越保守，鲁棒性更差。