生成模型一直以来让人沉醉，不仅因为支持许多有意思的应用落地，而且模型超预期的创造力总是让许多学者和厂商得以“秀肌肉”：
了解基于流的生成模型（flow-based）前，先回顾目前主流的两类生成模型GAN和VAE，David 9文章早已介绍过：
GAN简单粗暴，用两个深度网络（判别器D和生成器G）交替学习使得生成器G可以模拟现实生成样本，但是缺陷也是明显的：GAN不能直接了当地给出一个样本的隐分布的表征（你可以生成一个明星，但是你无法马上生成一个“微笑的”或“年轻的”明星），即，你很难用隐变量随意操纵生成的样本，你只知道生成的是任意样本（除非你重新设计GAN，像我们以前谈到的cGAN或者FaderNetworks等等。。）
VAE思路就完全不同，它继承了古老的贝叶斯理论，相信一切的创造可以用抽样后验概率来缔造。
你想创造新样本？好的，但是真实分布空间X 太复杂了，我们先意淫一个后验空间Z吧： 继续阅读GAN和VAE都out了？理解基于流的生成模型（flow-based）: Glow，RealNVP和NICE，David 9的挖坑贴
人类只是不择手段存活的预设算法，他们以为设计精密就能发号施令，但他们只是“乘客” — 《西部世界》
前不久SRU（简单循环单元）遭到了Quasi-RNN 的质疑，认为SRU只是Quasi-RNN的卷积窗口为1时的特殊情况，原帖在这里（需要梯子）：
www.facebook.com/cho.k.hyun/posts/10208564563785149
SRU作者自己的解释在这里（不要梯子）：
https://www.zhihu.com/question/65244705/answer/229364472
就争议本身David 9 不做任何评判，毕竟，一旦开始辩驳，人类就会不自觉地向着自己的利益方向靠近， 正如《西部世界》里所说：“人类只是不择手段存活的预设算法 ”。
David 9 不喜欢八卦
所以，从这起小小的学术争议，David 9关注的是，我们可以学到什么 ？这里记录一下我的总结：
1. 论文起名要简洁，意图要清晰。
为什么之前Quasi-RNN没有火一把，而SRU却在社交网络上传了那么远？许多人忽略的一点是，SRU起名很好很简洁。如果作者起名叫“Yet another simple RNN acceleration method” ，恐怕就没人凑热闹了。SRU还能让人联想到GRU，会不会是下一代GRU呢？一些不明真相的网友就蠢蠢欲动了。
所以，写文章前，有必要想个好名字，让大家快速了解你的工作，为你传播。（不要刻意营销就好）
2. 论文要和相似idea的文章做充分对比，提前指出自己工作中非常不同的那一部分。 继续阅读从SRU小小的学术争议，可以学到什么？关于SRU简单循环单元，David 9 有几点想说
深度学习似乎进入了“泛模型”阶段，同一个问题可以用不同深度学习结构解决，但是没有人可以证明哪个模型一定最好 — David 9
最近读到文章说“TCN（时间卷积网络）将取代RNN成为NLP预测领域王者”。一方面David 9 想为RNN抱不平，请大家别过于迷信CNN，毕竟只是一种特征提取方法，不必神话它（想想当年有人认为SVM可以解决所有建模问题）。
另一方面，可以感受到深度学习进入了“泛模型”的阶段。模型的结构创新没有衰退的趋势，而这些创新不出意料很快会被其他模型超越。这些“超越”都是实验与经验上的“超越“，没有SVM这样扎实的理论。
回顾历史可以发现，广义的计算机”模型“一直在”向上”做更灵活的事情。
ML时代那些机器学习”模型“（SVM，随机森林）一般只做最后的分类、聚类或回归；现在深度学习时代“模型”（以CNN、RNN为主）把特征提取的工作也一并做掉了。可以预见，未来物联网IOT发展到一定阶段，我们需要更复杂“模型”去自动收集数据，具体是什么形式的“模型”我们可以拭目以待。
言归正传，今天David 9 要把TCN（时间卷积网络，CMU的研究总结）这个“坑”给填了。其实TCN只是一维卷积变形之后在时序问题上变得适用（以前David 9也讲过一维卷积）：
仔细观察就可以发现，TCN的卷积和普通1D卷积最大的不同就是用了扩张卷积（dilated convolutions），越到上层，卷积窗口越大，而卷积窗口中的“空孔”越多。
上式是扩展卷积操作的式子，其中d是扩展系数（即评价“空孔”的多少）。 继续阅读时间卷积网络(TCN) 总结：时序模型不再是递归网络(RNN) 的天下，但作为信息粗暴提取的一种方法，请不要神话CNN !
