分类： 学术

ICLR 2017论文精选#2—用半监督知识迁移增强深度学习中训练数据的隐私（Best paper award 最佳论文奖）

藏私房钱的男同胞们, 是不是先要把钱分好几份, 然后藏在房间中的不同位置 ?    现在, 这种”智慧”用在了数据隐私上 …  —— David 9

虽然本届ICLR有许多不公平的评审传言, 但是令人欣慰的是, 目前深度学习发展如此迅猛, 以至于一些好的理论文章没有通过评审, 而有用的实际应用文章又如此之多让评审员为难. 无论如何, 今天要讲的这篇论文在保护训练隐私数据上非常有用, 从而浮出水面.

这篇论文也出自Google 大脑之手, 名为: SEMI-SUPERVISED KNOWLEDGE TRANSFER FOR DEEP LEARNING FROM PRIVATE TRAINING DATA. 论文给出了一种通用性的训练隐私数据的解决方案，名为”「教师」集成模型的隐私聚合”（Private Aggregation of Teacher Ensembles/PATE），PATE 发音类似”法国肉酱”这种食物。

框架总览:

目前对于模型隐私数据的攻击威胁一般基于以下两个假设: 继续阅读ICLR 2017论文精选#2—用半监督知识迁移增强深度学习中训练数据的隐私（Best paper award 最佳论文奖）

ICLR 2017论文精选#1之颠覆三观—理解深度学习要重新审视泛化能力（Best paper award 最佳论文奖）

我似乎看到了一个未来: 机器自身不断生成全新的模型架构, 去应对各种未知的问题. —— David 9

最近是个躁动的时节(ICLR 2017, Google I/O , Openstack峰会, 微软Build 等等), David 9也有点忙晚更了, 大家见谅. 今天, 接着拿ICLR 2017的一篇最佳论文, 这篇毁三观的论文实在是忍不住要拿出来讲一下. 论文来自Google 大脑团队:

是不是看到了我们熟悉的Bengio? 但是 第一作者是MIT的实习生哦~ 是的, 其实这篇论文理论并不艰深, 亮点是实验方法和颠覆三观的结论. 探讨的是机器学习界古老的话题: 泛化能力.
提到模型泛化能力, 人们一般的观念是VC维, 也就是模型越复杂(训练参数越多), 模型的泛化能力越差. 该文章用深度学习模型实验指出了这种错误观念, 事实上, 深度学习模型随着模型参数的增加, 模型依然具有一定泛化能力:

如上图, 对于一些经典深度学习网络, 我们用平均每个样本带有训练参数的数量来评价模型的复杂度, 继续阅读ICLR 2017论文精选#1之颠覆三观—理解深度学习要重新审视泛化能力（Best paper award 最佳论文奖）

MSRA微软亚洲研究院 最新卷积网络: Deformable Convolutional Networks(可变形卷积网络)

抽样方法的改进似乎像人类进化一样永无休止 — David 9

CVPR 2017机器视觉顶会今年6月21号才举办，但是2016年11月就投稿截止了。微软每年都是CVPR大户，今天我们要讲解的就是MSRA微软亚洲研究院的最新投稿论文：Deformable Convolutional Networks。（很可能被收录哦~）我们暂且翻译为：可变形卷积网络。

这是一种对传统方块卷积的改进核。本质是一种抽样改进。

谈到抽样，人脑好像天生知道如何抽样获得有用特征，而现代机器学习就像婴儿一样蹒跚学步。我们学会用cnn自动提取有用特征，却不知用什么样的卷积才是最有效的。我们习惯于方块卷积核窗口，而Jifeng Dai的work认为方块不是最好的形状：

来自：https://arxiv.org/pdf/1703.06211.pdf
来自：https://arxiv.org/pdf/1703.06211.pdf

如果能让网络自己学习卷积窗口形状，是不是一件很美好的事情？ 继续阅读MSRA微软亚洲研究院 最新卷积网络: Deformable Convolutional Networks(可变形卷积网络)