记得我们之前讲过1D卷积在自然语言处理中的应用：
但是读者中对如何应用一维卷积呼声太高，David 9 有必要再用一篇幅来讲1D卷积实战。这次我们拿kaggle上叶子分类预测问题做例子，讲解1D卷积网络如何实现。
我的数据集来自：https://www.kaggle.com/alexanderlazarev/simple-keras-1d-cnn-features-split/data
如果懒得去原链接下载，可以直接戳下面链接：
train.csv 是训练集数据，test.csv 是验证数据集。 这个数据集是叶子leaf 品种的分类问题，有三个通道， 每个通道64个比特位，一个通道代表边界特征，一个通道代表形状特征，最后一个通道代表材质特征。（这些特征都是kaggle已经帮你提取了）。输出是叶子特征标签的预测。
下面废话少说，直接上代码及详细注释（亲测可用）：
所有高级的创造，似乎都有一些“搜索”和“拼凑”的“智能” — David 9
模型自动设计已经不是新鲜事（H2O 的AutoML，谷歌的CLOUD AUTOML）。但是，高效的神经网络自动设计还是一个较有挑战性的课题（单纯用CV选模型太耗时间） 。谷歌大脑的这篇新论文就提供了一种高效的搜索方法，称之为：Efficient Neural Architecture Search（ENAS）。
对于老版本强化学习的NAS，需要21天搜索出的cnn模型，ENAS只需要3小时就可以搜索出相同准确率的模型：
作者把这样的效率提高归功于候选子模型的参数共享上（相似子模型可以模仿迁移学习使用已有的权重，而不需要从头训练）。
为简单起见，我们先从生成四个计算节点的RNN循环神经网络进行解释：
即使是只有四个计算节点的RNN，也有多种有向无环图（DAG）的生成可能，如上左图，红色的箭头生成的RNN才是我们在右图中看到RNN。 继续阅读你想要的神经网络自动设计，谷歌大脑帮你实现了：用参数共享高效地搜索神经网络架构（ENAS）
rnn似乎更擅长信息的保存和更新，而cnn似乎更擅长精确的特征提取；rnn输入输出尺寸灵活，而cnn尺寸相对刻板。— David 9
聊到循环神经网络RNN，我们第一反应可能是：时间序列 （time sequence）。
确实，RNN擅长时间相关的应用（自然语言，视频识别，音频分析）。但为什么CNN不容易处理时间序列而RNN可以？ 为什么我们之前说过RNN有一定的记忆能力？
数学上，如果我们想要预测一个单词x 的后一个单词y，我们需要3个主要元素（输入单词x；x的上下文状态h1；通过x和h1输出下一个单词的函数比如softmax）：
数学计算如下：
h1 = tanh (W1x+b1)
o = tanh (W2h1+b2)
y = softmax (o)
上面是一个很简单的有向无环图（DAG）， 继续阅读David 9的循环神经网络(RNN)入门帖：向量到序列，序列到序列，双向RNN，马尔科夫化
