rnn似乎更擅长信息的保存和更新，而cnn似乎更擅长精确的特征提取；rnn输入输出尺寸灵活，而cnn尺寸相对刻板。— David 9
聊到循环神经网络RNN，我们第一反应可能是：时间序列 （time sequence）。
确实，RNN擅长时间相关的应用（自然语言，视频识别，音频分析）。但为什么CNN不容易处理时间序列而RNN可以？ 为什么我们之前说过RNN有一定的记忆能力？
数学上，如果我们想要预测一个单词x 的后一个单词y，我们需要3个主要元素（输入单词x；x的上下文状态h1；通过x和h1输出下一个单词的函数比如softmax）：
数学计算如下：
h1 = tanh (W1x+b1)
o = tanh (W2h1+b2)
y = softmax (o)
上面是一个很简单的有向无环图（DAG）， 继续阅读David 9的循环神经网络(RNN)入门帖：向量到序列，序列到序列，双向RNN，马尔科夫化
命名实体识别 (NER) 是语义理解中的一个重要课题。NER就像自然语言领域的“目标检测”。找到文档D 中的名词实体还不够，许多情况下，我们需要了解这个名词是表示地点（location），人名（Person）还是组织（Organization），等等：
上图是NER输出一个句子后标记名词的示例。
在神经网络出现之前，几乎所有NER半监督或者非监督的方法，都要依靠手工的单词特征或者外部的监督库（如gazetteer）达到最好的识别效果。
手工的单词特征可以方便提炼出类似前缀，后缀，词根，如：
-ance， —ancy 表示：行为，性质，状态/ distance距离，currency流通
-ant，ent 表示：人，…的/ assistant助手,excellent优秀的
–ary 表示：地点，人，事物/ library图书馆，military军事
可以知道-ant结尾的单词很可能是指人，而-ary结尾更可能指的地点。
而外部的监督库（如gazetteer），把一些同种类的实体聚合在一起做成一个库，可以帮助识别同一个意思的实体，如：
auntie其实和aunt一个意思：姨妈
Mikey其实是Mike的昵称，都是人名
今天所讲的这篇卡内基梅隆大学的论文，用RNN神经网络的相关技术避开使用这些人工特征，并能达到与之相当的准确率。
为了获取上述的前缀，后缀，词根等相关特征，文章对每个单词的每个字母训练一个双向LSTM，把双向LSTM的输出作为单词的特殊embedding，和预训练eStack LSTM的算法识别命名实体，感兴趣可以继续阅读原论文。mbedding合成最后的词嵌入（final embedding）：
双向LSTM可以捕捉字母拼写的一些规律（前缀，后缀，词根）, 预训练的embedding可以捕捉全局上单词间的相似度。两者结合我们得到了更好的词嵌入（embedding）。 继续阅读当RNN神经网络遇上NER（命名实体识别）：双向LSTM，条件随机场（CRF），层叠Stack LSTM， 字母嵌入
如果不能像上帝那样创造, 那么就试着模仿吧 — David 9在哪听过
ICLR我们知道ICLR的中文全称是：国际学习表征大会。今天讲的文章就非常贴合学习表征这一主题 。我们知道哺乳动物海马体中的内嗅皮质（entorhinal cortex），简称EC，是神经科学中公认的管理空间定位的器官：
而2013《自然》上发表的一篇论文更是研究了内嗅皮质中细胞活跃度和动物所处空间位置的关系：
上图是内嗅皮质中的几种细胞在方块空间坐标中的活跃度（红色代表相当活跃）。有些叫做grid cell（格子细胞），它们在空间中间隔的地方总是显得较活跃；有一些细胞叫border cell（边缘细胞），当动物走到区域边缘时，这些细胞显得相当活跃。 继续阅读ICLR2018抢先看！RNN在空间定位训练中呈现的网格状表征：海马体的内嗅皮质与RNN一致表征
