ICLR 2017论文精选#2—用半监督知识迁移增强深度学习中训练数据的隐私（Best paper award 最佳论文奖）

藏私房钱的男同胞们, 是不是先要把钱分好几份, 然后藏在房间中的不同位置 ? 现在, 这种”智慧”用在了数据隐私上 … —— David 9

虽然本届ICLR有许多不公平的评审传言, 但是令人欣慰的是, 目前深度学习发展如此迅猛, 以至于一些好的理论文章没有通过评审, 而有用的实际应用文章又如此之多让评审员为难. 无论如何, 今天要讲的这篇论文在保护训练隐私数据上非常有用, 从而浮出水面.

这篇论文也出自Google 大脑之手, 名为: SEMI-SUPERVISED KNOWLEDGE TRANSFER FOR DEEP LEARNING FROM PRIVATE TRAINING DATA. 论文给出了一种通用性的训练隐私数据的解决方案，名为”「教师」集成模型的隐私聚合”（Private Aggregation of Teacher Ensembles/PATE），PATE 发音类似”法国肉酱”这种食物。

框架总览:

目前对于模型隐私数据的攻击威胁一般基于以下两个假设:

攻击者可以进行潜在的无限多的查询
攻击者能够进入研究模型内部组件

上图的训练框架就是为了防御以上的攻击方法, 做出的设计. 框架主要分为虚线左侧的”教师”模型, 和虚线右侧的”学生”模型.

“教师”模型使得攻击者查询多次都无法确切知道自己想要的敏感数据在哪个范围内; “学生”模型起到混淆的作用, 攻击者哪怕拿到所有”学生”模型的训练参数, 也无法推算出想要的敏感数据.

首先来看以下教师模型:

是的, 教师模型其实是一个集成模型, 每个教师Teacher n都是一个使用了一小部分数据(Partition n) 的一个基学习器, 最后会合成一个集成学习器(Aggregated Teacher).

最后的”投票”阶段才给出实际的预测结果, 这本身就给攻击者带来的不少障碍. 因为:

虽然每个基学习器都有一个确切的标签投标, 但事实上, 攻击者不知道敏感数据样本是来自哪个基学习器的. 就像许多男同胞藏私房钱, 即使你不刻意去藏, 只要分成许多份, 就可以给老婆找到全部钱带来许多障碍.

但是, 如果老婆知道你藏私房钱, 并且找到了一份, 怎么办? 只是你就需要”藏”的好一点, 加入一些混淆.

你可以有时假装在一个地方藏钱, 让老婆感觉你在那里藏钱的可能性较大(其实你没有在那里藏钱). 我们这篇论文中, 在集成投票阶段 , 加入了一些噪音:

当然, 如果你经常被老婆发现了私房钱, 你就要改进自己的藏钱套路了. 在这篇论文中, 作者使用”学生”模型, 去模拟”教师”模型的判断, 论文指出, 用GAN生成对抗网络模型出来的模型, 效果最好.

Student模型用半监督的方式训练, 训练数据都是不敏感的公有数据, 外加集成后的Teacher模型做监督, 得到一个模仿Teacher集成模型的模型(知识迁移). 当然, 内部参数已经被混淆过, 哪怕攻击者拿到了所有GAN的判别器模型和生成模型, 通过分析内部参数也不能还原出敏感数据. 最后, 用户只需要使用Student模型进行预测判断即可:

实际用户用到的是判别模型而非GAN中的生成模型:

实验结构, 最后的模型准确率的还不错:

我们知道 , 隐私保护和模型准确率是一对平衡的”跷跷板”. 论文得出结论, 基分类器的数量是隐私保护和模型准确率同时到达较高水平的关键.

紫色这条线代表了一个包含 10 个基分类器”教师模型”的集成教师模型（n=10）。当我们逐渐降低ε的值，意味着我们引入更多的随机噪声，加强隐私保障，那么这个”聚合教师模型”的准确率也很快下降。但是，图中绿线和红线的部分，分别是包含 100 个和 250 个「教师模型」的「聚合教师模型」（n=100，n=250），在较低ε值时，我们仍然可以保持较高的准确率。[3]