如果抽象能力足够强, 世间一切关系, 是否都能用距离(Distance)表达? — David 9
接着上一讲, 今天是David 9 的第二篇”NIPS 2016论文精选”: Supervised Word Mover’s Distance (可监督的词移距离). 需要一些nlp自然语言处理基础, 不过相信David 9的直白语言可以把这篇论文讲清晰.
首先, 整篇论文的最大贡献是: 为WMD(词移距离) 提出一种可监督训练的方案, 作者认为原来的WMD距离算法不能把有用的分类信息考虑进去, 这篇论文可以填这个坑 !
但是, 究竟什么是Word Mover’s Distance(WMD) ? 这还得从word2vec说起:
还记得这张图吧? 在 “究竟什么是Word2vec ?” 这篇文章中我们谈到过word2vec其实是 继续阅读Supervised Word Mover’s Distance (可监督的词移距离) – NIPS 2016论文精选#2
用神经网络去替代人为塑造的损失函数(成本函数), 似乎已成一种趋势 — David 9
NIPS：神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems)，是一个关于机器学习和计算神经科学的国际顶级会议。该会议固定在每年的12月举行,由NIPS基金会主办。在中国计算机学会的国际学术会议排名中，NIPS为人工智能领域的A类会议。
截止2016年底，NIPS大会已经办了29个年头，关于会议流程与相关细节，可以参考这篇文章。
今天的论文精选是来自UC Berkeley的论文: Value Iteration Networks (价值迭代网络) . 继续阅读NIPS 2016论文精选#1—Value Iteration Networks 价值迭代网络（Best paper award 最佳论文奖）
贝叶斯网络中的一些基本直觉，不能直接使用到马尔可夫网络 — David 9
上一讲, 我们介绍了模板模型, 今天我们要把注意力放到无向图模型，以及马尔可夫网络 (Markov Networks). 事实上之所以叫做无向图模型，只是因为概率图中的边可以是双向的：
这里的Φ1[A, B] 称为一个factor(因素)。但是Φ1[A, B]并不是有用的分布。如上图， Φ1[A, B]只是代表AB边之间各种组合的概率，并不是A和B联合概率。因为A和B联合概率的取值同时也被C和D影响（仅仅一条边的情况不能说明问题）。
另外，不要以为 P = Φ1(A, B) * Φ2(B, C) * Φ3(C, D) * Φ4(A, D) 就是这个图的联合概率。 继续阅读Stanford教授Daphne Koller 概率图模型 — 终极入门 第三讲 马尔可夫网络 (Markov Networks)
