rnn似乎更擅长信息的保存和更新,而cnn似乎更擅长精确的特征提取;rnn输入输出尺寸灵活,而cnn尺寸相对刻板。— David 9
聊到循环神经网络RNN,我们第一反应可能是:时间序列 (time sequence)。
确实,RNN擅长时间相关的应用(自然语言,视频识别,音频分析)。但为什么CNN不容易处理时间序列而RNN可以? 为什么我们之前说过RNN有一定的记忆能力?
数学上,如果我们想要预测一个单词x 的后一个单词y,我们需要3个主要元素(输入单词x;x的上下文状态h1;通过x和h1输出下一个单词的函数比如softmax):
数学计算如下:
h1 = tanh (W1x+b1)
o = tanh (W2h1+b2)
y = softmax (o)
上面是一个很简单的有向无环图(DAG), 继续阅读David 9的循环神经网络(RNN)入门帖:向量到序列,序列到序列,双向RNN,马尔科夫化