#Inception深度网络家族盘点 | Inception v4 和Inception-ResNet未来走向何方 ?

多融合和标准化的网络是深度架构未来的可见趋势 — David 9

Inception深度网络架构已经走过4个版本,AI的空前热潮,让业内期待新网络架构的心情如同当年期待Window系统版本一样。

Inception V1的想法其实很简单:一方面我们人工地调整每层卷积窗口的尺寸(真麻烦!)另一方面,我们又想让深度网络更“深”,为什么不让同一层就有各种大小卷积可以学习?

是不是轻松多了?仅仅一层block就包含1*1卷积,3*3卷积,5*5卷积,3*3池化。

这样,网络中每一层都能学习到“稀疏”或者“不稀疏”的特征:

另外,Inception V1开创了两个变化:

1. 以前每一层线性卷积需要之后跟一个Relu激活函数或者pooling层增加非线性。而Inception V1直接通过DepthConcat在每个block后合成特征,获得非线性属性。

2. 最后阶段的全连层FC不再是必要的,传说中的global average pooling可以替代FC减少过拟合的风险。

Inception V2 和V3讨论集成了Inception中的许多Tricks,包括在Inception block中,与其用7×7 尺寸的卷积,不如用一对 1×7 和 7×1 卷积更高效。另外引入Batch Normalize等等。但是,我们都知道:是金子总会发光的,好的Tricks总能到处通用 !而不是在一个架构中才能用!

终于,我们要请出主角InceptionV4和Inception-ResNet, 是不是有人要打我了?恭喜你有耐心看到这里。

其实Inception V4改动也不大,但是它告诉懒人们一个很重要的信息:什么样的输出应该用什么样Inception Block。 连Block都懒得调了,这群人简直了 !

比如要输出35*35尺寸的特征图,你不用费心调了,我告诉你,这个Inception Block最好:

来自:https://arxiv.org/pdf/1602.07261v2.pdf

如果要输出17*17尺寸的特征图?没关系,这个Inception Block最好:

另外,注意到每组卷积之前都有1*1卷积,之前我们说过,1*1的卷积是为了降低输入特征图个数,不至于到最后特征图泛滥。于是,我就像拼积木一样,把上述Blocks拼到Inception V4 中就可以了:

Inception V4总体架构

其中,Inception-A的block和Inception-B的block展开,正是上一张和上上一张图片的架构。可见,Inception V4的Block更像是模块化的拼接,具体其他Block的设置读者可以参考原始文章

除了Inception V4标准化,可用性,和高效性的增强,文章提出的Inception-ResNet的思想就更加直接:我们何不搞个Inception和ResNet的混合体?

我们知道ResNet通过跳层连接使得深度网络信号传递更深,可构建更深和收敛更快的网络:

ResNet跳层示例

在“胖胖”的Inception Block基础上,加上跳层,即是Inception-ResNet的思想

这种混合架构能有多大的准确率提高呢?实话说不是特别大的提高:

以上是top-5,top-1上的错误率比较。可见Inception-v4和Inception-v3之间的改进并不大,对应的Inception-ResNet改进版Inception-ResNet-v2和Inception-ResNet-v1的改进更是不大。无论如何,也许这称不上smart work,但还是感谢作者的hard work。另外可以看到的是,多架构融合标准化的网络是深度架构未来的可见趋势。

 

参考文献:

  1. Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning
  2. https://datascience.stackexchange.com/questions/15328/what-is-the-difference-between-inception-v2-and-inception-v3
  3. http://nicolovaligi.com/history-inception-deep-learning-architecture.html

本文采用署名 – 非商业性使用 – 禁止演绎 3.0 中国大陆许可协议进行许可。著作权属于“David 9的博客”原创,如需转载,请联系微信: david9ml,或邮箱:yanchao727@gmail.com

或直接扫二维码:

发布者

David 9

邮箱:yanchao727@gmail.com 微信: david9ml

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注