莫斯科物理技术学院（MIPT）前不久开源了聊天机器人DeepPavlov（基于TensorFlow和Keras），对于有志学习NLP的同学是个不错的借鉴。其中的语义理解分类模块，不是采用的马尔科夫随机场（CRF）或RNN， 而是使用一维卷积去做语义分类：
这一模型是来自纽约大学的论文：Convolutional Neural Networks for Sentence Classification，用一维卷积为句子的语义分类。
值得注意的是，上图模型中，第一层句子的词嵌入输入（embedding）并不是单个通道，而是两个通道的。每个通道用相同的word2vec的embedding方法初始化（表征同一个句子），有意思的是，文章指出，把其中一个通道的词表征静态化（static），而另一个通道的词表征设为可训练的（non-static），这样两个通道组合在一起可以有更好效果。 继续阅读一维卷积在语义理解中的应用，莫斯科物理技术学院（MIPT）开源聊天机器人DeepPavlov解析及代码
命名实体识别 (NER) 是语义理解中的一个重要课题。NER就像自然语言领域的“目标检测”。找到文档D 中的名词实体还不够，许多情况下，我们需要了解这个名词是表示地点（location），人名（Person）还是组织（Organization），等等：
上图是NER输出一个句子后标记名词的示例。
在神经网络出现之前，几乎所有NER半监督或者非监督的方法，都要依靠手工的单词特征或者外部的监督库（如gazetteer）达到最好的识别效果。
手工的单词特征可以方便提炼出类似前缀，后缀，词根，如：
-ance， —ancy 表示：行为，性质，状态/ distance距离，currency流通
-ant，ent 表示：人，…的/ assistant助手,excellent优秀的
–ary 表示：地点，人，事物/ library图书馆，military军事
可以知道-ant结尾的单词很可能是指人，而-ary结尾更可能指的地点。
而外部的监督库（如gazetteer），把一些同种类的实体聚合在一起做成一个库，可以帮助识别同一个意思的实体，如：
auntie其实和aunt一个意思：姨妈
Mikey其实是Mike的昵称，都是人名
今天所讲的这篇卡内基梅隆大学的论文，用RNN神经网络的相关技术避开使用这些人工特征，并能达到与之相当的准确率。
为了获取上述的前缀，后缀，词根等相关特征，文章对每个单词的每个字母训练一个双向LSTM，把双向LSTM的输出作为单词的特殊embedding，和预训练eStack LSTM的算法识别命名实体，感兴趣可以继续阅读原论文。mbedding合成最后的词嵌入（final embedding）：
双向LSTM可以捕捉字母拼写的一些规律（前缀，后缀，词根）, 预训练的embedding可以捕捉全局上单词间的相似度。两者结合我们得到了更好的词嵌入（embedding）。 继续阅读当RNN神经网络遇上NER（命名实体识别）：双向LSTM，条件随机场（CRF），层叠Stack LSTM， 字母嵌入
Prominent Paper Award (卓越论文奖) 是AIJ期刊评选出的六年内具有杰出影响力的论文. 今年, BabelNet当选该奖, BabelNet新的在线版更是令人影响深刻:
如上搜索”自由经济“, BabelNet不仅仅会给出”市场经济“, “市场力量“等WordNet语义聚类. 还会给出语义关系:
即, “市场经济“是一个”经济 概念 “, 是”市场“的一部分, 是一种”资本主义“. 继续阅读IJCAI 2017精选之”BabelNet”: WordNet与维基百科的混血儿, 大型国际化语义关系网
