莫斯科物理技术学院（MIPT）前不久开源了聊天机器人DeepPavlov（基于TensorFlow和Keras），对于有志学习NLP的同学是个不错的借鉴。其中的语义理解分类模块，不是采用的马尔科夫随机场（CRF）或RNN， 而是使用一维卷积去做语义分类：
这一模型是来自纽约大学的论文：Convolutional Neural Networks for Sentence Classification，用一维卷积为句子的语义分类。
值得注意的是，上图模型中，第一层句子的词嵌入输入（embedding）并不是单个通道，而是两个通道的。每个通道用相同的word2vec的embedding方法初始化（表征同一个句子），有意思的是，文章指出，把其中一个通道的词表征静态化（static），而另一个通道的词表征设为可训练的（non-static），这样两个通道组合在一起可以有更好效果。 继续阅读一维卷积在语义理解中的应用，莫斯科物理技术学院（MIPT）开源聊天机器人DeepPavlov解析及代码
如果性能遇到了瓶颈，“老套”的办法总能帮我们搞定一些事情 — David 9
自深度卷积网络 广泛应用以来，我们更像进入了一个“伪智能”时代。深度网络的“创造”更多的是基于“巨量数据”的“创造”。以图片风格转换为例，无论是我们以前说的GAN还是其他变形CNN，都需要标注样本达到一定量，才能生成比较好的风格转换图（附带着冗长的训练时间 和其他模型调优技巧）：
而英伟达前不久放出的CVPR新论文，一定程度上证明了在这个“伪智能”时代，只用深度网络是不够的，往往加入一些“老套”的算法可以帮你得到一些“漂亮”的结果：
上图是给定一张原始图片（a）和一张“黑夜”风格图片（b），我们希望把（a）的风格转换成（b）的结果。
可见（c）与（d）的结果都没有英伟达声称的方法（e）看起来自然。
而英伟达这篇论文的一大半贡献不在深度网络，
而是如何把传统的WCT（白化和调色转换：whitening and coloring transforms）应用到深度网络中，以及图片平滑的后处理工作。
整体框架如下：
来自：https://arxiv.org/pdf/1802.06474.pdf 继续阅读“图片风格转换”又出新作，英伟达CVPR论文：高效图片风格转换与解析闭合解
多融合和标准化的网络是深度架构未来的可见趋势 — David 9
Inception深度网络架构已经走过4个版本，AI的空前热潮，让业内期待新网络架构的心情如同当年期待Window系统版本一样。
Inception V1的想法其实很简单：一方面我们人工地调整每层卷积窗口的尺寸（真麻烦！）另一方面，我们又想让深度网络更“深”，为什么不让同一层就有各种大小卷积可以学习？
是不是轻松多了？仅仅一层block就包含1*1卷积，3*3卷积，5*5卷积，3*3池化。
这样，网络中每一层都能学习到“稀疏”或者“不稀疏”的特征：
另外，Inception V1开创了两个变化：
1. 以前每一层线性卷积需要之后跟一个Relu激活函数或者pooling层增加非线性。而Inception V1直接通过DepthConcat在每个block后合成特征，获得非线性属性。 继续阅读#Inception深度网络家族盘点 | Inception v4 和Inception-ResNet未来走向何方 ?
