迁移学习101: Transfer learning, pretrained learning, fine tuning 代码与例程分析 源码实践

目前的迁移学习太粗浅, 归因于我们对表征的理解太粗浅. 但这是一个好方向, 如果我们能从”迁移学习”上升到”继承学习”, 任何模型都是”可继承”的, 不用担心今天的模型到了明天就毫无用处, 就像人类的基因一代代地演变, 是不是会有点意思 ? — David 9

太多初学者总是混淆迁移学习预训练模型, David 9一直想为大家区分两者, 其实迁移学习预训练并不难区分:

  1. 把模型的所有参数保存起来, 都可以宽泛地叫做预训练, 所以预训练比迁移学习宽泛的多. 我们并不设限预训练的保存模型未来的用处 (部署 or 继续优化 or 迁移学习)
  2. 把预训练的模型用在其他应用的训练可以称为迁移学习. 

迁移学习(Transfer learning) 的原理相当简单:

如上图, 复用之前预训练的复杂深度网络(第一行大蓝框), 我们复用倒数第二层对图像的输出特征作为新的训练输入.

使用这个输入, 我们再训练一个迷你的浅层网络(第二行绿底网络), 就可以应用在其他领域. 继续阅读迁移学习101: Transfer learning, pretrained learning, fine tuning 代码与例程分析 源码实践

ICLR 2017论文精选#2—用半监督知识迁移增强深度学习中训练数据的隐私(Best paper award 最佳论文奖)

藏私房钱的男同胞们, 是不是先要把钱分好几份, 然后藏在房间中的不同位置 ?    现在, 这种”智慧”用在了数据隐私上 …  —— David 9

虽然本届ICLR有许多不公平的评审传言, 但是令人欣慰的是, 目前深度学习发展如此迅猛, 以至于一些好的理论文章没有通过评审, 而有用的实际应用文章又如此之多让评审员为难. 无论如何, 今天要讲的这篇论文在保护训练隐私数据上非常有用, 从而浮出水面.

这篇论文也出自Google 大脑之手, 名为: SEMI-SUPERVISED KNOWLEDGE TRANSFER FOR DEEP LEARNING FROM PRIVATE TRAINING DATA. 论文给出了一种通用性的训练隐私数据的解决方案,名为”「教师」集成模型的隐私聚合”(Private Aggregation of Teacher Ensembles/PATE),PATE 发音类似”法国肉酱”这种食物。

框架总览:

目前对于模型隐私数据的攻击威胁一般基于以下两个假设: 继续阅读ICLR 2017论文精选#2—用半监督知识迁移增强深度学习中训练数据的隐私(Best paper award 最佳论文奖)