分类： RNN

人类只是不择手段存活的预设算法，他们以为设计精密就能发号施令，但他们只是“乘客” — 《西部世界》

前不久SRU（简单循环单元）遭到了Quasi-RNN 的质疑，认为SRU只是Quasi-RNN的卷积窗口为1时的特殊情况，原帖在这里（需要梯子）：

www.facebook.com/cho.k.hyun/posts/10208564563785149

SRU作者自己的解释在这里（不要梯子）：

https://www.zhihu.com/question/65244705/answer/229364472

就争议本身David 9 不做任何评判，毕竟，一旦开始辩驳，人类就会不自觉地向着自己的利益方向靠近， 正如《西部世界》里所说：“人类只是不择手段存活的预设算法 ”。

David 9 不喜欢八卦

所以，从这起小小的学术争议，David 9关注的是，我们可以学到什么 ？这里记录一下我的总结：

1. 论文起名要简洁，意图要清晰。

为什么之前Quasi-RNN没有火一把，而SRU却在社交网络上传了那么远？许多人忽略的一点是，SRU起名很好很简洁。如果作者起名叫“Yet another simple RNN acceleration method” ，恐怕就没人凑热闹了。SRU还能让人联想到GRU，会不会是下一代GRU呢？一些不明真相的网友就蠢蠢欲动了。

所以，写文章前，有必要想个好名字，让大家快速了解你的工作，为你传播。（不要刻意营销就好）

2. 论文要和相似idea的文章做充分对比，提前指出自己工作中非常不同的那一部分。 继续阅读从SRU小小的学术争议，可以学到什么？关于SRU简单循环单元，David 9 有几点想说

所有高级的创造，似乎都有一些“搜索”和“拼凑”的“智能” — David 9

模型自动设计已经不是新鲜事（H2O 的AutoML，谷歌的CLOUD AUTOML）。但是，高效的神经网络自动设计还是一个较有挑战性的课题（单纯用CV选模型太耗时间） 。谷歌大脑的这篇新论文就提供了一种高效的搜索方法，称之为：Efficient Neural Architecture Search（ENAS）。

对于老版本强化学习的NAS，需要21天搜索出的cnn模型，ENAS只需要3小时就可以搜索出相同准确率的模型：

作者把这样的效率提高归功于候选子模型的参数共享上（相似子模型可以模仿迁移学习使用已有的权重，而不需要从头训练）。

为简单起见，我们先从生成四个计算节点的RNN循环神经网络进行解释：

即使是只有四个计算节点的RNN，也有多种有向无环图（DAG）的生成可能，如上左图，红色的箭头生成的RNN才是我们在右图中看到RNN。 继续阅读你想要的神经网络自动设计，谷歌大脑帮你实现了：用参数共享高效地搜索神经网络架构（ENAS）