Stanford教授Daphne Koller 概率图模型 — 终极入门 第三讲 马尔可夫网络 (Markov Networks)

贝叶斯网络中的一些基本直觉,不能直接使用到马尔可夫网络 — David 9

上一讲, 我们介绍了模板模型 今天我们要把注意力放到无向图模型,以及马尔可夫网络 (Markov Networks). 事实上之所以叫做无向图模型,只是因为概率图中的边可以是双向的:

这里的Φ1[A, B] 称为一个factor(因素)。但是Φ1[A, B]并不是有用的分布。如上图, Φ1[A, B]只是代表AB边之间各种组合的概率,并不是A和B联合概率。因为A和B联合概率的取值同时也被C和D影响(仅仅一条边的情况不能说明问题)。

另外,不要以为 P = Φ1(A, B) * Φ2(B, C) * Φ3(C, D) * Φ4(A, D) 就是这个图的联合概率继续阅读Stanford教授Daphne Koller 概率图模型 — 终极入门 第三讲 马尔可夫网络 (Markov Networks)

Stanford教授Daphne Koller 概率图模型 — 终极入门 第二讲 模板模型 (Template Models)

模板模型 , 是机器学习模型进行时空上复制的一种有效方法 — David 9

接着上一讲, 有向图模型与贝叶斯网络基础 这一讲我们关注模板模型 (Template Models). “模板模型”在机器学习领域, 并非常用的术语, 但是在许多概率图模型中, 都有”模板模型”的影子.

所以, “模板模型”这样有价值的概率图模型抽象思想, 值得用一篇文章来解释解释.

首先, 模板模型 (Template Models)顾名思义, 是用模板的思维建立出的模型. 许多非常复杂的图模型, 事实上是可以简化的. 简化时, 通过共享通用的变量, 通用的概率图结构, 可以归纳出通用的模板模型, 达到类似复用的效果.

还记得我们讲过的动态主题模型 ? 动态主题模型正是在不同的时间点上, 复制主题模型的. 这里, 主题模型就是一个模型模型. 模版模型描述了模版变量如何从模版中继承依赖关系,同样应用的典型例子有: 动态贝叶斯模型DBN隐马尔科夫模型HMM, 盘模型Plate Models

在来看一下课程试题, 加深对模板模型的印象:

继续阅读Stanford教授Daphne Koller 概率图模型 — 终极入门 第二讲 模板模型 (Template Models)

Stanford教授Daphne Koller 概率图模型 — 终极入门 第一讲 有向图模型与贝叶斯网络基础

图模型或者概率图模型(Probabilistic Graphical Model), 是每个机器学习领域数据科学家的必备工具. 今天的终极入门我们讲解斯坦福教授Daphne Koller 概率图模型在coursera上的教程. 简洁地把要点拿出来分享给大家.

概率图模型可以是有向无环图 或者无向图

概率图模型是用图来表示变量概率依赖关系的理论。因为概率的依赖关系可以是单向的, 也可以是双向的, 所以概率图模型可以是有向无环图(如贝叶斯网络), 也可以是双向的有环图(如马尔可夫网络) . 继续阅读Stanford教授Daphne Koller 概率图模型 — 终极入门 第一讲 有向图模型与贝叶斯网络基础

卡内基梅隆大学(CMU),那些经受住时间考验的机器学习论文–第二弹:动态主题模型

这一弹,接着上一期,这次,我们要解释一种典型的机器学习算法——动态主题模型(Dynamic Topic Model)。

概率主题模型概率图模型是每个做文本挖掘的学者的必学课题。其中最常见的主题模型是隐含狄利克雷分布(LDA)。当然,本文的动态主题模型也是主题模型的一种,不过为了方便理解,我们还是来回顾一下LDA。

来自:https://en.wikipedia.org/wiki/Latent_Dirichlet_allocation
来自:https://en.wikipedia.org/wiki/Latent_Dirichlet_allocation

我们定义:

α 是狄利克雷先验的参数,是每个文档可能的主题分布

\theta _{m},当α 落实到一个文档m,\theta _{m}是文档m的主题模型。而且α代表的是狄利克雷分布,\theta _{m}代表的是多项式分布。 α很明显是\theta _{m}共轭先验

β狄利克雷先验的参数,但是,它是每个主题可能的文字分布

{\displaystyle z_{mn}} 是在文档m中,第n个文字的主题。 继续阅读卡内基梅隆大学(CMU),那些经受住时间考验的机器学习论文–第二弹:动态主题模型

卡内基梅隆大学(CMU),那些经受住时间考验的机器学习论文–第一弹:互联网拓扑规律研究

这一期,接着上一期,开始我们的卡内基梅隆大学(CMU)机器学习论文之旅。

CMU果然是机器学习的牛叉大学(拥有专门的机器学习专业系)。David 9翻看所有获得“Test of Time Award”(经得住时间考验奖)的论文,没有一篇论文是应用型,全部是奠基类的基础研究文章,不得不赞叹才疏学浅啊。先来获奖看一下列表:

  1. Graphs over time: densification laws, shrinking diameters and possible explanations [.pdf]
    Jure Leskovec, Jon Kleinberg, Christos Faloutsos, Test of Time Award, KDD 2016
  2. Dynamic Topic Models [.pdf]
    John Lafferty, David Blei, Test of Time Award, ICML 2016
  3. Realistic, Mathematically Tractable Graph Generation and Evolution, Using Krinecker Multiplication [.pdf]Jure Leskovec, Deepayan Chakrabarti, Jon M. Kleinberg, Christos Faloutsos, Test of Time Award, ECML/PKDD 2015
  4. Beyond Independent Relevance: Methods and Evaluation Metrics for Subtopic Retrieval [.pdf]
    Cheng Zhai, William Cohen, John Lafferty, Test of Time Award, SIGIR 2014
  5. Diffusion Kernels on Graphs and Other Discrete Input Spaces [.pdf]Risi Kondar and John Lafferty, Test of Time Award, ICML 2012
  6. Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data [.pdf]
    John Lafferty, Andrew McCallum, and Fernando C. N. Pereira, Test of Time Award, ICML 2011
  7. On Power-Law Relationships of the Internet Topology [.pdf]Michalis Faloutsos, Petros Faloutsos and Christos Faloutsos, Test of Time Award, ACM SIGCOMM 2010
  8. Integration of heterogeneous databases without common domains using queries based on textual similarity [.pdf]William Cohen, Test of Time Award, ACM SIGMOD, 2008

David 9发现一个规律,里面几乎所有论文都和“”有关系啊,看来CMU对Graph研究很热衷啊? 继续阅读卡内基梅隆大学(CMU),那些经受住时间考验的机器学习论文–第一弹:互联网拓扑规律研究

#12 机器学习能力自测题—看看你的机器学习知识能打几分?不容错过的机器学习试题与术语

一直苦于没有办法自测一下机器学习知识掌握程度,最近看到一篇Ankit Gupta写的博客Solutions for Skilltest Machine Learning : Revealed。有40题机器学习自测题,马上可以看看你的机器学习知识能打几分?顺便还能查漏补缺相关术语,以及SVM, 隐马尔科夫, 特征选择, 神经网络, 线性回归等众多知识点.

以下是试题, 附答案:

Q1:在一个n维的空间中, 最好的检测outlier(离群点)的方法是:

A. 作正态分布概率图

B. 作盒形图

C. 马氏距离

D. 作散点图

答案:C

马氏距离是基于卡方分布的,度量多元outlier离群点的统计方法。更多请详见:这里和”各种距离“。

 

Q2:对数几率回归(logistics regression)和一般回归分析有什么区别?: 继续阅读#12 机器学习能力自测题—看看你的机器学习知识能打几分?不容错过的机器学习试题与术语

机器学习美国哪家强? 卡内基梅隆(CMU)?斯坦福? 伯克利? 哥伦比亚? MIT?威斯康星?

最近看到一篇Quora很好地解答了机器学习界的知名高校相关问题。机器学习究竟美国哪家强? 卡内基梅隆(CMU)?斯坦福? 伯克利? 哥伦比亚? MIT?还是威斯康星?总结了所有评论,这几个名校都有大牛潜伏,但是值得注意的是,CMU有一整个机器学习系,是一个巨大的团体,其它大学也有很强的小团队, 但是团队比较小,要谨慎选择自己的感兴趣点。来看下面一些的评论:

Jordan Boyd-Graber, CS计算机教授的回答:

首先,我在我的答案可能会有一些语言偏差; 我可能会给机器学习和语言学的交叉学科更高的优先级。

其他人给出了明显的答案:斯坦福,伯克利,CMU,哥伦比亚大学,UW和麻省理工学院。这些大学本身在一个类别中。

在下一层级有许多人(没有特定的顺序):TTI,Alberta,UBC,Madison,Edinburgh,Duke,UT Austin,马萨诸塞,密歇根,U Penn,ETH,UCSC,霍普金斯,多伦多,UCSD,布朗, ,Georgia Tech,Cambridge,MPI Tuebingen,UCL,Oxford,Cornell。几个非常好的教授和良好的记录,出色的博士学生。还有一些我忘了(对不起!)。

但是,正如其他评论者所说,个人喜好和适应,以及一个顾问,比其他事情重要。有很多伟大的教授是他们领域的世界专家,他们不在机器学习的大阵营(例如,加州理工学院的Yisong Yue,麦格理的Mark Johnson)。底线是找到教授,去任何地方,做你想做的工作。

最后,如果我没有提到马里兰州和科罗拉多州,他们有很好的招聘记录教授乔丹·博伊德·格拉伯,这是我认为比较大学的最重要的标准。

Igor Markov, Michigan EECS教授- 目前在Google的回答

CMU有一个整个的机器学习系 – 这点很难与之竞争。 伯克利是强大的,主要是由于与统计学的密切关系(Michael Jordan+更多)。 在麻省理工学院,纽约大学,普林斯顿,多伦多和加州理工学院有非常强但很小的机器学习小组(这些信息可能会因聘请新教授而过时)。 斯坦福大学有几个有名的研究人员,但是小组不大(Sebastian Thrun和Andrew Ng不在那里了)。

密歇根现在有一个相对较大的ML组通过CSE和ECE传播 – 部分通过最近招聘— Clay Scott @ ECE,Laura Balzano @ ECE,Honglak Lee @ CSE,Jake Abernethy @ CSE等等,部分通过更多 (Satinder Baveja),部分是因为在相关领域的研究人员/教授在应用ML到网络,信号处理,机器人感测和导航等方面具有强大的专业知识(Mingyan Liu,Al Hero,Ed Olson等)。

继续阅读机器学习美国哪家强? 卡内基梅隆(CMU)?斯坦福? 伯克利? 哥伦比亚? MIT?威斯康星?