David 9 一直想扒一扒Hinton的胶囊网络，老教授两篇论文有些晦涩，但今天发现AI³普及帖不错，只是略显冗长。。所以，精华浓缩版就呼之欲出了O(∩_∩)O~
深度CNN是Hinton老教授10年前就在重点研究的课题，胶囊网络也是Hinton早已思考的内容，所以，
第一：胶囊网络不是空穴来风的新算法，而是基于CNN的缺陷和新需求的改进。
第二，胶囊网络比CNN好在哪里？？
首先，CNN牛X之处在于用类似蛮力的海量数据方式，自动把重要的分类特征找到，所以，无论图像是不是完整，我们都有理由相信CNN能够识别图中有没有“米老鼠”这个对象：
只要CNN看到有象征米老鼠的“耳朵”和“鼻子”， CNN就认定这张图中有“米老鼠”。（哪怕拼图还没完成） 继续阅读理解Hinton胶囊网络之精华浓缩版，第一部分： 胶囊网络背后的灵感与初衷（Capsule Networks）
虚拟化技术牺牲硬件开销和性能，换来软件功能的灵活性；深度模型也类似，如果把网络结构参数化，得到的模型更灵活易控，但是计算效率并不高。 — David 9
近年来深度网络结构的创新层出不穷：残差网络，Inception 系列， Unet，等等。。微软的残差网络ResNet就是经典的跳层连接（skip-connection）：
上一层的特征图x直接与卷积后的F(x)对齐加和，变为F(x)+x （特征图数量不够可用0特征补齐，特征图大小不一可用带步长卷积做下采样）。这样在每层特征图中添加上一层的特征信息，可使网络更深，加快反馈与收敛。
但是ResNet也有明显的缺陷：我们无法证明把每一层特征图硬连接到下一层都是有用的；另外实验证明把ResNet变“深”，不如把ResNet变“宽”， 即，到了一定深度，加深网络已经无法使ResNet准确度提升了（还不如把网络层像Inception那样变宽）。
于是，DiracNets试图去掉固定的跳层连接，试图用参数化的方法代替跳层连接：
那么问题来了，我们怎么参数化这个被删除的跳层连接？ 继续阅读CVPR2018抢先看，DiracNets：无需跳层连接，训练更深神经网络，结构参数化与Dirac参数化的ResNet
胶囊网络精华浓缩版第一部分中，我们就吐槽过Max pooling的一堆缺陷：
当我们深入看胶囊网络的工作方式，我们会感觉胶囊网络就是为改进Max Pooling而生的:
上图胶囊网络整体架构中，卷积层Conv1输出后，跟的不再是Max Pooling层， 而是主胶囊层（PrimaryCaps layer）和数据胶囊层（DigitCaps layer）。
这些胶囊层到底是如何工作的？我们先从胶囊层和一般的全连接层入手。
一般的全连接层是这样工作的：
对于上一层Max Pooling输出的所有标量（x1, x2, x3）与权重（w1，w2，w3）做卷积求和操作。最后，使用非线性激活函数 f（•）输出预测值hj 继续阅读理解Hinton胶囊网络之精华浓缩版，第二部分： 胶囊网络是如何工作的？（Capsule Networks）
