图模型或者概率图模型(Probabilistic Graphical Model), 是每个机器学习领域数据科学家的必备工具. 今天的终极入门我们讲解斯坦福教授Daphne Koller 概率图模型在coursera上的教程. 简洁地把要点拿出来分享给大家.
概率图模型是用图来表示变量概率依赖关系的理论。因为概率的依赖关系可以是单向的, 也可以是双向的, 所以概率图模型可以是有向无环图(如贝叶斯网络), 也可以是双向的有环图(如马尔可夫网络) .
说到贝叶斯网络, 所有随机变量的联合概率, 都在概率图中符合链式法则:
即, 所有概率的联合概率, 是各个节点表示的随机变量的条件概率相乘的结果.
注:
Difficulty 测试难度
Intelligence 学生能力高低
Grade 学生测试成绩
SAT 学生高考成绩
Letter 学生是否可以得到教授工作推荐信
如何证明其实在教程中也给出了, 关键点是, P(D, I, G, S, L)分布如果是合理的, 那么所有情况的总和, 一定是1 :
另外一个知识点是, 如何用概率图做推演呢 ? 来看下面这个问题:
我们有以上概率图, 发现学生们测试拿到了C, 而且抽样发现, 考试难度是很大的(hard !). 那我们抽样考试难度, 问:
推演出学生们的考试能力后验, 是变高了, 还是变低了 ?
答: 首先, 如果测试拿了C, Grade这个节点已经观察确定了概率, 因此Grade已经是不可变了, 那么根据考试难度的抽样, 如果考试难度高, 那么学生的考试能力后验, 是变高了. 而如果根据考试难度的抽样, 发现考试难度低, 那么学生的考试能力后验, 是变低了.
总结就是, 考分一样, 如果难度高, 学生能力强, 如果难度低, 学生能力弱. 其实我们在生活中不知不觉一直在用贝叶斯推演啊 !
再来看一题:
如果在Grade观察得到C的基础上, 我们抽样到学生们过了SAT考试, 问:
我们可以推断出, 测试的Difficulty是升高还是降低了 ?
答: Difficulty升高了. 因为SAT过了说明学生们的能力是高的, 但是测试成绩是C, 说明难度太大啦 !
其次, 让我们看一下图模型中节点间的影响关系:
可以总结, 如果W不是被观察变量, 两个随机变量不处在V字形的两端, 是都可以互相影响的.
但是如果W是观察过的变量, 情况就不同啦:
所以,
观察过的随机变量, 有阻隔概率图流动的作用 !
同时, 通过观察的变量, 又有反向推演的作用 !
如果仅仅观察G节点, 选项2一定不能选, 因为G阻隔了I->G->L的路径. 选项4也不能选, 因为节点J 并没有被观察, 所有 S->J<-L的V字形并没有被激活.
最后, 让我们看看如何用概率图模型建模朴素贝叶斯(Naive Bayes Model):
朴素贝叶斯(Naive Bayes Model)是典型的分类工具, 我们之前的图模型链式法则, 在这里派上来用处, 所有概率的联合概率, 是各个节点表示的随机变量的条件概率相乘的结果. 在朴素贝叶斯中也一样.
参考文献:
- https://www.coursera.org/learn/probabilistic-graphical-models
- http://blog.csdn.net/yangliuy/article/details/8067261
- https://en.wikipedia.org/wiki/Graphical_model
- http://baike.baidu.com/item/%E6%A6%82%E7%8E%87%E5%9B%BE%E6%A8%A1%E5%9E%8B
- http://blog.csdn.net/zdy0_2004/article/details/44248083
本文章属于“David 9的博客”原创,如需转载,请联系微信david9ml,或邮箱:yanchao727@gmail.com
David 9
Latest posts by David 9 (see all)
- 修订特征已经变得切实可行, “特征矫正工程”是否会成为潮流? - 27 3 月, 2024
- 量子计算系列#2 : 量子机器学习与量子深度学习补充资料,QML,QeML,QaML - 29 2 月, 2024
- “现象意识”#2:用白盒的视角研究意识和大脑,会是什么景象?微意识,主体感,超心智,意识中层理论 - 16 2 月, 2024