月度归档： 2018 年 2 月

CVPR2018抢先看，DiracNets：无需跳层连接，训练更深神经网络，结构参数化与Dirac参数化的ResNet

虚拟化技术牺牲硬件开销和性能，换来软件功能的灵活性；深度模型也类似，如果把网络结构参数化，得到的模型更灵活易控，但是计算效率并不高。 — David 9

近年来深度网络结构的创新层出不穷：残差网络，Inception 系列， Unet，等等。。微软的残差网络ResNet就是经典的跳层连接（skip-connection）：

来自：https://arxiv.org/pdf/1512.03385.pdf

上一层的特征图x直接与卷积后的F(x)对齐加和，变为F(x)+x （特征图数量不够可用0特征补齐，特征图大小不一可用带步长卷积做下采样）。这样在每层特征图中添加上一层的特征信息，可使网络更深，加快反馈与收敛。

但是ResNet也有明显的缺陷：我们无法证明把每一层特征图硬连接到下一层都是有用的；另外实验证明把ResNet变“深”，不如把ResNet变“宽”， 即，到了一定深度，加深网络已经无法使ResNet准确度提升了（还不如把网络层像Inception那样变宽）。

于是，DiracNets试图去掉固定的跳层连接，试图用参数化的方法代替跳层连接：

那么问题来了，我们怎么参数化这个被删除的跳层连接？ 继续阅读CVPR2018抢先看，DiracNets：无需跳层连接，训练更深神经网络，结构参数化与Dirac参数化的ResNet

理解Hinton胶囊网络之精华浓缩版，第二部分： 胶囊网络是如何工作的？（Capsule Networks）

胶囊网络精华浓缩版第一部分中，我们就吐槽过Max pooling的一堆缺陷：

  • 虽然最大池化层可帮助辨别图像中元素的位置关系，但是有太多信息丢失（pooling操作“粗暴地”把局部相邻像素点集压缩成一个像素点）
  • 缺乏空间分层和空间推理能力，缺乏“举一反三”的能力
Max pooling图示

当我们深入看胶囊网络的工作方式，我们会感觉胶囊网络就是为改进Max Pooling而生的:

来自: https://arxiv.org/pdf/1710.09829.pdf

上图胶囊网络整体架构中，卷积层Conv1输出后，跟的不再是Max Pooling层， 而是主胶囊层（PrimaryCaps layer）和数据胶囊层（DigitCaps layer）。

这些胶囊层到底是如何工作的？我们先从胶囊层和一般的全连接层入手。

一般的全连接层是这样工作的：

来自：https://medium.com/ai%C2%B3-theory-practice-business/understanding-hintons-capsule-networks-part-ii-how-capsules-work-153b6ade9f66

对于上一层Max Pooling输出的所有标量（x1, x2, x3）与权重（w1，w2，w3）做卷积求和操作。最后，使用非线性激活函数 f（•）输出预测值hj 继续阅读理解Hinton胶囊网络之精华浓缩版，第二部分： 胶囊网络是如何工作的？（Capsule Networks）