生成模型一直以来让人沉醉，不仅因为支持许多有意思的应用落地，而且模型超预期的创造力总是让许多学者和厂商得以“秀肌肉”：
了解基于流的生成模型（flow-based）前，先回顾目前主流的两类生成模型GAN和VAE，David 9文章早已介绍过：
GAN简单粗暴，用两个深度网络（判别器D和生成器G）交替学习使得生成器G可以模拟现实生成样本，但是缺陷也是明显的：GAN不能直接了当地给出一个样本的隐分布的表征（你可以生成一个明星，但是你无法马上生成一个“微笑的”或“年轻的”明星），即，你很难用隐变量随意操纵生成的样本，你只知道生成的是任意样本（除非你重新设计GAN，像我们以前谈到的cGAN或者FaderNetworks等等。。）
VAE思路就完全不同，它继承了古老的贝叶斯理论，相信一切的创造可以用抽样后验概率来缔造。
你想创造新样本？好的，但是真实分布空间X 太复杂了，我们先意淫一个后验空间Z吧： 继续阅读GAN和VAE都out了？理解基于流的生成模型（flow-based）: Glow，RealNVP和NICE，David 9的挖坑贴
人类只是不择手段存活的预设算法，他们以为设计精密就能发号施令，但他们只是“乘客” — 《西部世界》
前不久SRU（简单循环单元）遭到了Quasi-RNN 的质疑，认为SRU只是Quasi-RNN的卷积窗口为1时的特殊情况，原帖在这里（需要梯子）：
www.facebook.com/cho.k.hyun/posts/10208564563785149
SRU作者自己的解释在这里（不要梯子）：
https://www.zhihu.com/question/65244705/answer/229364472
就争议本身David 9 不做任何评判，毕竟，一旦开始辩驳，人类就会不自觉地向着自己的利益方向靠近， 正如《西部世界》里所说：“人类只是不择手段存活的预设算法 ”。
David 9 不喜欢八卦
所以，从这起小小的学术争议，David 9关注的是，我们可以学到什么 ？这里记录一下我的总结：
1. 论文起名要简洁，意图要清晰。
为什么之前Quasi-RNN没有火一把，而SRU却在社交网络上传了那么远？许多人忽略的一点是，SRU起名很好很简洁。如果作者起名叫“Yet another simple RNN acceleration method” ，恐怕就没人凑热闹了。SRU还能让人联想到GRU，会不会是下一代GRU呢？一些不明真相的网友就蠢蠢欲动了。
所以，写文章前，有必要想个好名字，让大家快速了解你的工作，为你传播。（不要刻意营销就好）
2. 论文要和相似idea的文章做充分对比，提前指出自己工作中非常不同的那一部分。 继续阅读从SRU小小的学术争议，可以学到什么？关于SRU简单循环单元，David 9 有几点想说
软件演进和生物进化一样，没人可以预测下一步走向哪里，我们只知道，它需要人类的脑力和贪婪去喂养 — David 9
谁也没有想到30年前Guido写的Python因为通俗易用、丰富的联网支持，变为现在数据科学家最喜爱的工具语言之一。甚至小小的代数计算库Numpy会涌现如此多的扩展库和矛盾。
有人认为，长颈鹿之所以进化时如此过度关注脖子长度（其实适当高度就足够了），只是因为母长颈鹿认为雄长颈鹿脖子越长越有性魅力（种内竞争）。
软件进化也类似，人类社区中那些勤劳的开发者努力让Numpy支持各种场景（多核分布式、GPU利用、稀疏处理和Autograd ），解决各种矛盾（ndarray不兼容，numpy插件系统不到位）。但是，他们的汗水都是基于Python这个“种族”进化的，种内竞争激烈不一定能保证软件的发展方向好 。。。
扯远了。。今天还是想盘点高阶Numpy扩展库与API ，毕竟许多人不满足于基础的numpy代数计算。比如下面这些场景（重写库）：
最简单的例子大概是这样的：
import numpy as np x = np.random.random((2,3)) # 在一个cpu上跑 y = x.T.dot(np.log(x) + 1) z = y - y.mean(axis=0) print(z[:5]) import cupy as cp x = cp.random.random((2,3)) # 在GPU上跑 y = x.T.dot(cp.log(x) + 1) z = y - y.mean() print(z[:5].get()) import dask.array as da x = da.random.random((2,3)) # 在许多cpu上跑 y = x.T.dot(da.log(x) + 1) z = y - y.mean(axis=0) print(z[:5].compute())
默默妈卖批，这帮人就不知道合作一下合成一个库吗？ 继续阅读高阶Numpy扩展库与API盘点：在ndarray上直接进行多核分布式、GPU利用、稀疏处理和自动求导，那些你不知道的ndarray扩展操作
