AAAI 2017论文精选#1— 用物理学和域知识训练“无标注样本的”神经网络( Outstanding Paper Award 优秀论文奖)

婴儿的基因里似乎有很高级的先验,他们自出生开始就运用自己的先验自主学习这个物质世界,而且成长迅速。— David 9

AAAI 英文全称是「National Conference of the Association for the Advance of Artificial Intelligence」,中文为「美国人工智能协会」年会,成立于 1979 年,今年2017已经举办到了第 31 届。

AAAI年会. 是一个很好的会议, 但其档次不稳定, 因为它的开法完全受 IJCAI制约: 每年开, 但如果这一年的 IJCAI在北美举行, 那么就停开. 所以, 偶数年里因为没有IJCAI, 它就是最好的AI综合性会议, 但因为号召力毕竟比IJCAI要小一些, 特别是欧洲人捧AAAI场的比IJCAI少得多(其实亚洲人也是), 所以比IJCAI还是要稍弱一点; 在奇数年, 如果IJCAI不在北美, AAAI自然就变成了比IJCAI低一级的会议, 例如2005年既有IJCAI又有AAAI, 两个会议就进行了协调, 使得IJCAI的录用通知时间比AAAI的deadline早那么几天, 这样IJCAI落选的文章 可以投往AAAI.在审稿时IJCAI 的 PC chair也在一直催, 说大家一定要快, 因为AAAI 那边一直在担心IJCAI的录用通知出晚了AAAI就麻烦了.

AAAI 2017结束不久,今天我们来研究2017的优秀论文奖:Label-Free Supervision of Neural Networks with Physics and Domain Knowledge

没错,这篇论文可以运用到自动驾驶中,因为自动驾驶的环境有太多无样本标注的情况出现,没有人能对所有突发路况都事先了如指掌。这就是本论文最大应用价值之一。

借助高级的先验,进行无样本标注的训练,至少有两点好处:

  1. 省去了人工标注样本的人工成本。
  2. 高级的先验,可以在许多神经网络中复用,用来预训练。大大提高复用性和泛函能力。

继续阅读AAAI 2017论文精选#1— 用物理学和域知识训练“无标注样本的”神经网络( Outstanding Paper Award 优秀论文奖)

深度 | 对比深度学习十大框架:TensorFlow最流行但并不是最好

本文经 机器之心(微信公众号:almosthuman2014)授权转载,禁止二次转载
选自Medium
机器之心编译参与:吴攀、朱思颖、李亚洲

2016 年已经过去,BEEVA Labs 数据分析师 Ricardo Guerrero Gomez-Ol 近日在 Medium 上发表了一篇文章,盘点了目前最流行的深度学习框架。为什么要做这一个盘点呢?他写道:「我常听到人们谈论深度学习——我该从哪里开始呢?TensorFlow 是现在最流行的吧?我听说 Caffe 很常用,但会不会太难了?在 BEEVA Labs,我们常常需要应对许多不同的深度学习库,所以我希望能够将我们的发现和感想分享出来,帮助那些刚刚进入深度学习这一美丽世界的人。」

TensorFlow

链接:https://www.tensorflow.org/

对于那些听说过深度学习但还没有太过专门深入的人来说,TensorFlow 是他们最喜欢的深度学习框架,但在这里我要澄清一些事实。

在 TensorFlow 的官网上,它被定义为「一个用于机器智能的开源软件库」,但我觉得应该这么定义:TensorFlow 是一个使用数据流图(data flow graphs)进行数值计算的开源软件库。在这里,他们没有将 TensorFlow 包含在「深度学习框架」范围内,而是和 Theano 一起被包含在「图编译器(graph compilers)」类别中。 继续阅读深度 | 对比深度学习十大框架:TensorFlow最流行但并不是最好

Supervised Word Mover’s Distance (可监督的词移距离) – NIPS 2016论文精选#2

如果抽象能力足够强, 世间一切关系, 是否都能用距离(Distance)表达? — David 9

接着上一讲, 今天是David 9 的第二篇”NIPS 2016论文精选”: Supervised Word Mover’s Distance (可监督的词移距离). 需要一些nlp自然语言处理基础, 不过相信David 9的直白语言可以把这篇论文讲清晰.

首先, 整篇论文的最大贡献是: 为WMD(词移距离) 提出一种可监督训练的方案, 作者认为原来的WMD距离算法不能把有用的分类信息考虑进去, 这篇论文可以填这个坑 !

但是, 究竟什么是Word Mover’s Distance(WMD) ? 这还得从word2vec说起:

还记得这张图吧? 在 “究竟什么是Word2vec ?” 这篇文章中我们谈到过word2vec其实是 继续阅读Supervised Word Mover’s Distance (可监督的词移距离) – NIPS 2016论文精选#2

NIPS 2016论文精选#1—Value Iteration Networks 价值迭代网络(Best paper award 最佳论文奖)

用神经网络去替代人为塑造的损失函数(成本函数), 似乎已成一种趋势 — David 9

NIPS:神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems),是一个关于机器学习和计算神经科学的国际顶级会议。该会议固定在每年的12月举行,由NIPS基金会主办。在中国计算机学会的国际学术会议排名中,NIPS为人工智能领域的A类会议。

来自文章: http://weibo.com/ttarticle/p/show?id=2309403986681102492540

截止2016年底,NIPS大会已经办了29个年头,关于会议流程与相关细节,可以参考这篇文章

今天的论文精选是来自UC Berkeley的论文: Value Iteration Networks (价值迭代网络) . 继续阅读NIPS 2016论文精选#1—Value Iteration Networks 价值迭代网络(Best paper award 最佳论文奖)

用python做贝叶斯A/B测试 — 贝叶斯A/B测试入门 以及“共轭先验”是什么?

如果不再假设一个分布的参数是固定的,而是去寻找这个参数可能的分布,就可以理解超参数的意义 — David 9

A/B测试一直是David 9想cover的知识点,今天又邂逅一篇相关文章:“tl;dr Bayesian A/B Testing with Python”。于是今天决定讲解一下如何“用python做贝叶斯A/B测试”。所以,现在,两个重要的知识点是 A/B 测试 和 “共轭先验”。

关于A/B测试,其实概念非常简单,简单来说,就是为同一个目标制定两个方案(比如两个页面),让一部分用户使用 A 方案,另一部分用户使用 B 方案,记录下用户的使用情况,看哪个方案更符合设计。A/B测试已经在Web上得到广泛的应用,可以用于增加转化率注册率等网页指标[3].

很显然,A方案的转化率可以看作一个二项分布:

继续阅读用python做贝叶斯A/B测试 — 贝叶斯A/B测试入门 以及“共轭先验”是什么?

#12 机器学习能力自测题—看看你的机器学习知识能打几分?不容错过的机器学习试题与术语

一直苦于没有办法自测一下机器学习知识掌握程度,最近看到一篇Ankit Gupta写的博客Solutions for Skilltest Machine Learning : Revealed。有40题机器学习自测题,马上可以看看你的机器学习知识能打几分?顺便还能查漏补缺相关术语,以及SVM, 隐马尔科夫, 特征选择, 神经网络, 线性回归等众多知识点.

以下是试题, 附答案:

Q1:在一个n维的空间中, 最好的检测outlier(离群点)的方法是:

A. 作正态分布概率图

B. 作盒形图

C. 马氏距离

D. 作散点图

答案:C

马氏距离是基于卡方分布的,度量多元outlier离群点的统计方法。更多请详见:这里和”各种距离“。

 

Q2:对数几率回归(logistics regression)和一般回归分析有什么区别?: 继续阅读#12 机器学习能力自测题—看看你的机器学习知识能打几分?不容错过的机器学习试题与术语

机器学习美国哪家强? 卡内基梅隆(CMU)?斯坦福? 伯克利? 哥伦比亚? MIT?威斯康星?

最近看到一篇Quora很好地解答了机器学习界的知名高校相关问题。机器学习究竟美国哪家强? 卡内基梅隆(CMU)?斯坦福? 伯克利? 哥伦比亚? MIT?还是威斯康星?总结了所有评论,这几个名校都有大牛潜伏,但是值得注意的是,CMU有一整个机器学习系,是一个巨大的团体,其它大学也有很强的小团队, 但是团队比较小,要谨慎选择自己的感兴趣点。来看下面一些的评论:

Jordan Boyd-Graber, CS计算机教授的回答:

首先,我在我的答案可能会有一些语言偏差; 我可能会给机器学习和语言学的交叉学科更高的优先级。

其他人给出了明显的答案:斯坦福,伯克利,CMU,哥伦比亚大学,UW和麻省理工学院。这些大学本身在一个类别中。

在下一层级有许多人(没有特定的顺序):TTI,Alberta,UBC,Madison,Edinburgh,Duke,UT Austin,马萨诸塞,密歇根,U Penn,ETH,UCSC,霍普金斯,多伦多,UCSD,布朗, ,Georgia Tech,Cambridge,MPI Tuebingen,UCL,Oxford,Cornell。几个非常好的教授和良好的记录,出色的博士学生。还有一些我忘了(对不起!)。

但是,正如其他评论者所说,个人喜好和适应,以及一个顾问,比其他事情重要。有很多伟大的教授是他们领域的世界专家,他们不在机器学习的大阵营(例如,加州理工学院的Yisong Yue,麦格理的Mark Johnson)。底线是找到教授,去任何地方,做你想做的工作。

最后,如果我没有提到马里兰州和科罗拉多州,他们有很好的招聘记录教授乔丹·博伊德·格拉伯,这是我认为比较大学的最重要的标准。

Igor Markov, Michigan EECS教授- 目前在Google的回答

CMU有一个整个的机器学习系 – 这点很难与之竞争。 伯克利是强大的,主要是由于与统计学的密切关系(Michael Jordan+更多)。 在麻省理工学院,纽约大学,普林斯顿,多伦多和加州理工学院有非常强但很小的机器学习小组(这些信息可能会因聘请新教授而过时)。 斯坦福大学有几个有名的研究人员,但是小组不大(Sebastian Thrun和Andrew Ng不在那里了)。

密歇根现在有一个相对较大的ML组通过CSE和ECE传播 – 部分通过最近招聘— Clay Scott @ ECE,Laura Balzano @ ECE,Honglak Lee @ CSE,Jake Abernethy @ CSE等等,部分通过更多 (Satinder Baveja),部分是因为在相关领域的研究人员/教授在应用ML到网络,信号处理,机器人感测和导航等方面具有强大的专业知识(Mingyan Liu,Al Hero,Ed Olson等)。

继续阅读机器学习美国哪家强? 卡内基梅隆(CMU)?斯坦福? 伯克利? 哥伦比亚? MIT?威斯康星?