#12 机器学习能力自测题—看看你的机器学习知识能打几分?不容错过的机器学习试题与术语

一直苦于没有办法自测一下机器学习知识掌握程度,最近看到一篇Ankit Gupta写的博客Solutions for Skilltest Machine Learning : Revealed。有40题机器学习自测题,马上可以看看你的机器学习知识能打几分?顺便还能查漏补缺相关术语,以及SVM, 隐马尔科夫, 特征选择, 神经网络, 线性回归等众多知识点.

以下是试题, 附答案:

Q1:在一个n维的空间中, 最好的检测outlier(离群点)的方法是:

A. 作正态分布概率图

B. 作盒形图

C. 马氏距离

D. 作散点图

答案:C

马氏距离是基于卡方分布的,度量多元outlier利群点的统计方法。更多请详见:这里和”各种距离“。

 

Q2:对数几率回归(logistics regression)和一般回归分析有什么区别?: 继续阅读#12 机器学习能力自测题—看看你的机器学习知识能打几分?不容错过的机器学习试题与术语

机器学习美国哪家强? 卡内基梅隆(CMU)?斯坦福? 伯克利? 哥伦比亚? MIT?威斯康星?

最近看到一篇Quora很好地解答了机器学习界的知名高校相关问题。机器学习究竟美国哪家强? 卡内基梅隆(CMU)?斯坦福? 伯克利? 哥伦比亚? MIT?还是威斯康星?总结了所有评论,这几个名校都有大牛潜伏,但是值得注意的是,CMU有一整个机器学习系,是一个巨大的团体,其它大学也有很强的小团队, 但是团队比较小,要谨慎选择自己的感兴趣点。来看下面一些的评论:

Jordan Boyd-Graber, CS计算机教授的回答:

首先,我在我的答案可能会有一些语言偏差; 我可能会给机器学习和语言学的交叉学科更高的优先级。

其他人给出了明显的答案:斯坦福,伯克利,CMU,哥伦比亚大学,UW和麻省理工学院。这些大学本身在一个类别中。

在下一层级有许多人(没有特定的顺序):TTI,Alberta,UBC,Madison,Edinburgh,Duke,UT Austin,马萨诸塞,密歇根,U Penn,ETH,UCSC,霍普金斯,多伦多,UCSD,布朗, ,Georgia Tech,Cambridge,MPI Tuebingen,UCL,Oxford,Cornell。几个非常好的教授和良好的记录,出色的博士学生。还有一些我忘了(对不起!)。

但是,正如其他评论者所说,个人喜好和适应,以及一个顾问,比其他事情重要。有很多伟大的教授是他们领域的世界专家,他们不在机器学习的大阵营(例如,加州理工学院的Yisong Yue,麦格理的Mark Johnson)。底线是找到教授,去任何地方,做你想做的工作。

最后,如果我没有提到马里兰州和科罗拉多州,他们有很好的招聘记录教授乔丹·博伊德·格拉伯,这是我认为比较大学的最重要的标准。

Igor Markov, Michigan EECS教授- 目前在Google的回答

CMU有一个整个的机器学习系 – 这点很难与之竞争。 伯克利是强大的,主要是由于与统计学的密切关系(Michael Jordan+更多)。 在麻省理工学院,纽约大学,普林斯顿,多伦多和加州理工学院有非常强但很小的机器学习小组(这些信息可能会因聘请新教授而过时)。 斯坦福大学有几个有名的研究人员,但是小组不大(Sebastian Thrun和Andrew Ng不在那里了)。

密歇根现在有一个相对较大的ML组通过CSE和ECE传播 – 部分通过最近招聘— Clay Scott @ ECE,Laura Balzano @ ECE,Honglak Lee @ CSE,Jake Abernethy @ CSE等等,部分通过更多 (Satinder Baveja),部分是因为在相关领域的研究人员/教授在应用ML到网络,信号处理,机器人感测和导航等方面具有强大的专业知识(Mingyan Liu,Al Hero,Ed Olson等)。

继续阅读机器学习美国哪家强? 卡内基梅隆(CMU)?斯坦福? 伯克利? 哥伦比亚? MIT?威斯康星?

系列论文分析预告—卡耐基梅隆大学 机器学习专业 历年最佳论文

预告:

David 9 最近翻到收藏已久的链接: 卡耐基梅隆大学机器学习专业 历年最佳论文 . 其中包括3大部分:

  1. “经过时间考验奖”(Test of Time Awards)
  2. “最佳学位论文”(Dissertation Awards)
  3. “最佳与亚军论文奖”(Best Paper and Runner up Awards)

David 9打算就其中有意思的内容和杰出的贡献, 做几期博客分析, 敬请期待. 继续阅读系列论文分析预告—卡耐基梅隆大学 机器学习专业 历年最佳论文

#10 随机森林101—用人话解释随机森林,用python使用随机森林

林子大了,什么“树”都有 !

最近神经网络被学界和业界都玩坏了。之前David 9也跟风一连几篇神经网络的文章。神经网络确实到了一个新高度,其他机器学习算法在目前甚至十年以内显得黯然失色。

但是,David 9不希望大家错过其他也很棒的机器学习算法比如随机森林。虽然不如神经网络在某些领域光芒万丈,随机森林因为其方便快捷的使用,以及训练模型的简单,目前依旧深受许多数据科学家的喜爱。

如果你的老板有一堆数据,想做数据挖掘,想找一点“高大上”的算法而且容易实现,选随机森林吧。不仅比神经网络门栏低,而且对于大多数情况的数据形式,都是可以训练的。而且,有时结果好的让你惊讶。

随机森林集成学习中的一种算法。下面这张图带大家回顾集成学习:

combining_classifiers_overview

之所以叫做随机森林,很明显,这个模型是通过许多决策树集成学习而来的。集成学习是啥?如果你还不知道,请看我们之前的博客:“#3 集成学习–机器学习中的群策群力 !”和“聊聊集成学习和”多样性”, “差异性”的那些事儿~”。 继续阅读#10 随机森林101—用人话解释随机森林,用python使用随机森林

#11 基于能量模型的生成对抗网络–生成对抗网络进阶

在文章“手把手教你写一个生成对抗网络”中,我们谈到过生成对抗网络。意犹未尽的是,只是了解生成对抗网络的基本原理和算法形式,对于训练结果还没有仔细研究。

最近拜读了机器学习四大神之一Yann LeCun (燕乐存 目前在facebook就职) 今年发表的论文“ENERGY-BASED GENERATIVE ADVERSARIAL NETWORK”。基于能量模型的生成对抗网络,训练结果真的很不错。不像一般的生成网络,生成的图片像素随机性大,字体边界模糊。看下图论文在MNIST集上的比较:

来自:论文 ENERGY-BASED GENERATIVE ADVERSARIAL NETWORK
来自:论文 ENERGY-BASED GENERATIVE ADVERSARIAL NETWORK

左边是一般GAN(生成对抗网络)的生成数字, 右边就是论文的改进EBGAN(基于能量的生成对抗网络)。可以很明显地看出,改进的生成数字比较清晰,连接也比较流畅 。传统GAN生成的数字就比较模糊,像素连贯性较差继续阅读#11 基于能量模型的生成对抗网络–生成对抗网络进阶

手把手教你写一个生成对抗网络 — 生成对抗网络代码全解析, 详细代码解析(TensorFlow, numpy, matplotlib, scipy)

今天我们接着上一讲“#9 生成对抗网络101 终极入门与通俗解析”, 手把手教你写一个生成对抗网络。参考代码是:https://github.com/AYLIEN/gan-intro

关键python库: TensorFlow, numpy, matplotlib, scipy

我们上次讲过,生成对抗网络同时训练两个模型, 叫做生成器判断器. 生成器竭尽全力模仿真实分布生成数据; 判断器竭尽全力区分出真实样本和生成器生成的模仿样本. 直到判断器无法区分出真实样本和模仿样本为止.

out
来自:http://blog.aylien.com/introduction-generative-adversarial-networks-code-tensorflow/

上图是一个生成对抗网络的训练过程,我们所要讲解的代码就是要实现这样的训练过程。
其中, 绿色线的分布是一个高斯分布(真实分布),期望和方差都是固定值,所以分布稳定。红色线的分布是生成器分布,他在训练过程中与判断器对抗,不断改变分布模仿绿色线高斯分布. 整个过程不断模仿绿色线蓝色线的分布就是判断器,约定为, 概率密度越高, 认为真实数据的可能性越大. 可以看到蓝线在真实数据期望4的地方,蓝色线概率密度越来越小, 即, 判断器难区分出生成器和判断器. 继续阅读手把手教你写一个生成对抗网络 — 生成对抗网络代码全解析, 详细代码解析(TensorFlow, numpy, matplotlib, scipy)

损失函数, 成本函数, 目标函数 的区别

机器学习中经常会碰到“损失函数”,“成本函数”, 和“目标函数”。许多初学者会被这些概念搞晕。事实上,“损失函数”和“成本函数”在很多地方都会混用(甚至有人叫它们“错误函数”)。但是也有细微的差别。

差别1:

“损失函数”比“成本函数”更加宽泛。“损失函数”可以是一个点上的损失,也可以是整个数据集上的损失。而,“成本函数”一般是数据集上总的成本和损失。

差别2:

“成本函数”比“损失函数”更加复杂。“成本函数”可以比损失函数有更复杂的组合和计算,“成本函数”可以加上正则化项。如下:

main-qimg-9acde3375df62fd83f1d0363c14320a6 继续阅读损失函数, 成本函数, 目标函数 的区别