前阵子Michael Kissner的神经网络Hacking教程似乎很火，现在David正好空下来聊一下神经网络的黑客攻防。看了一下目录都算简单易懂：
方法1，攻击神经网络权重weights
考虑一个简单的瞳孔虹膜安检系统模型：
前几层是特征提取层，后几层是比对匹配层。如果你的想冒充CEO的瞳孔通过安检，你就需要有和他匹配的虹膜。让我们试想这样一种场景：你可通过某种途径拿到并篡改这个模型（假设是一个HDF5文件）。那么事情就变的相当简单，你用类似hdfview的工具修改HDF5文件，最直接地修改最后一层全连接层权重w，这样你可以马上得到想要的输出：
缺点与防范：
这种攻击过于粗暴，如果没有精心设计权重，很容易让对方察觉（模型异常）。另外，真实情况是很难有获得模型的并重写模型的机会。防范也比较简单，可以对模型文件做加密；可以限制模型“写”权限（防篡改）；或者经常做模型更新和MD5校验。
方法2，神经网络后门攻击
这种攻击比方法1中“篡改权重”优雅一些。我们可以试图做到不修改原有神经网络的任何行为，仅仅加入自己的虹膜，让网络认为我的虹膜和CEO的瞳孔一致（嘿嘿，当然前提还是你可以篡改模型）。
有个小问题是，如果你没有瞳孔图像训练集，怎么重新训练模型再篡改呢? 继续阅读【神经网络之黑客攻防】简述攻破神经网络的那些方法，聊聊防范措施，David 9的灰帽子Hacking