分类： 前沿

ICLR 2017论文精选#1之颠覆三观—理解深度学习要重新审视泛化能力（Best paper award 最佳论文奖）

我似乎看到了一个未来: 机器自身不断生成全新的模型架构, 去应对各种未知的问题. —— David 9

最近是个躁动的时节(ICLR 2017, Google I/O , Openstack峰会, 微软Build 等等), David 9也有点忙晚更了, 大家见谅. 今天, 接着拿ICLR 2017的一篇最佳论文, 这篇毁三观的论文实在是忍不住要拿出来讲一下. 论文来自Google 大脑团队:

是不是看到了我们熟悉的Bengio? 但是 第一作者是MIT的实习生哦~ 是的, 其实这篇论文理论并不艰深, 亮点是实验方法和颠覆三观的结论. 探讨的是机器学习界古老的话题: 泛化能力.
提到模型泛化能力, 人们一般的观念是VC维, 也就是模型越复杂(训练参数越多), 模型的泛化能力越差. 该文章用深度学习模型实验指出了这种错误观念, 事实上, 深度学习模型随着模型参数的增加, 模型依然具有一定泛化能力:

如上图, 对于一些经典深度学习网络, 我们用平均每个样本带有训练参数的数量来评价模型的复杂度, 继续阅读ICLR 2017论文精选#1之颠覆三观—理解深度学习要重新审视泛化能力（Best paper award 最佳论文奖）

MSRA微软亚洲研究院 最新卷积网络: Deformable Convolutional Networks(可变形卷积网络)

抽样方法的改进似乎像人类进化一样永无休止 — David 9

CVPR 2017机器视觉顶会今年6月21号才举办，但是2016年11月就投稿截止了。微软每年都是CVPR大户，今天我们要讲解的就是MSRA微软亚洲研究院的最新投稿论文：Deformable Convolutional Networks。（很可能被收录哦~）我们暂且翻译为：可变形卷积网络。

这是一种对传统方块卷积的改进核。本质是一种抽样改进。

谈到抽样，人脑好像天生知道如何抽样获得有用特征，而现代机器学习就像婴儿一样蹒跚学步。我们学会用cnn自动提取有用特征，却不知用什么样的卷积才是最有效的。我们习惯于方块卷积核窗口，而Jifeng Dai的work认为方块不是最好的形状：

来自：https://arxiv.org/pdf/1703.06211.pdf
来自：https://arxiv.org/pdf/1703.06211.pdf

如果能让网络自己学习卷积窗口形状，是不是一件很美好的事情？ 继续阅读MSRA微软亚洲研究院 最新卷积网络: Deformable Convolutional Networks(可变形卷积网络)

Yoshua Bengio大神深度学习实战方法论解读 — 模型评估， 超参数调优，网格搜索，调试策略

人类擅长把一个问题转化为另一个问题，而深度学习试图把所有问题转化为同一个问题 — David 9

现代深度学习或机器学习，很大程度上是把所有问题转化为同一个“模型训练”问题。如何解决这个模型训练的问题成为了数据科学家们的主攻问题。

鲜为人知的是，设计机器学习模型、训练算法和目标函数仅仅是工作的一部分。还有很重要的一部分是：数据科学家们要对数据和问题有更深层次的理解，对于模型评估， 超参数调优，网格搜索，调试策略都有相当的实践经验。

正如Deep Learning（Ian Goodfellow Yoshua Bengio）一书中所说：

Correct application of an algorithm depends on mastering some fairly simple methodology

继续阅读Yoshua Bengio大神深度学习实战方法论解读 — 模型评估， 超参数调优，网格搜索，调试策略