AAAI 2017论文精选#1— 用物理学和域知识训练“无标注样本的”神经网络( Outstanding Paper Award 优秀论文奖)

婴儿的基因里似乎有很高级的先验,他们自出生开始就运用自己的先验自主学习这个物质世界,而且成长迅速。— David 9

AAAI 英文全称是「National Conference of the Association for the Advance of Artificial Intelligence」,中文为「美国人工智能协会」年会,成立于 1979 年,今年2017已经举办到了第 31 届。

AAAI年会. 是一个很好的会议, 但其档次不稳定, 因为它的开法完全受 IJCAI制约: 每年开, 但如果这一年的 IJCAI在北美举行, 那么就停开. 所以, 偶数年里因为没有IJCAI, 它就是最好的AI综合性会议, 但因为号召力毕竟比IJCAI要小一些, 特别是欧洲人捧AAAI场的比IJCAI少得多(其实亚洲人也是), 所以比IJCAI还是要稍弱一点; 在奇数年, 如果IJCAI不在北美, AAAI自然就变成了比IJCAI低一级的会议, 例如2005年既有IJCAI又有AAAI, 两个会议就进行了协调, 使得IJCAI的录用通知时间比AAAI的deadline早那么几天, 这样IJCAI落选的文章 可以投往AAAI.在审稿时IJCAI 的 PC chair也在一直催, 说大家一定要快, 因为AAAI 那边一直在担心IJCAI的录用通知出晚了AAAI就麻烦了.

AAAI 2017结束不久,今天我们来研究2017的优秀论文奖:Label-Free Supervision of Neural Networks with Physics and Domain Knowledge

没错,这篇论文可以运用到自动驾驶中,因为自动驾驶的环境有太多无样本标注的情况出现,没有人能对所有突发路况都事先了如指掌。这就是本论文最大应用价值之一。

借助高级的先验,进行无样本标注的训练,至少有两点好处:

  1. 省去了人工标注样本的人工成本。
  2. 高级的先验,可以在许多神经网络中复用,用来预训练。大大提高复用性和泛函能力。

这里的高级先验,可以是牛顿第二定律,也可以是万有引力公式等等(这是所谓的物理域。当然也可以有化学反应的域,天体运动域等等专业领域)。

所以论文的思路很简单:仅仅用这些公式就可以对视频中物体运动做预测了(虽然预测不是那么准确,但是,至少比没有预训练好多了,也比用人力去辛苦标注好多了)。

来看看如何做预训练(文章中叫“约束训练”(Constraint learning)):

我们的目标是训练神经网络f , 但是因为样本标签Y未知,我们用高级的先验 g 去约束Y的域值,比如,如果你在视频中抛一个物体,我们知道它应该符合牛顿第二定律,即,成抛物线的轨迹。所以在训练f 时,用先验g去约束f的训练,就能做到预训练。

所以,传统的有标注样本的训练是这样的:

无标注样本的训练是这样的:

我们用高级先验g 约束神经网络f的训练,构造一个损失函数,同时给f一个正则项R,允许f 有一定的偏差和泛函能力。

有意思的是,这篇论文的大半篇幅用在了实验上(文章覆盖了3个典型实验),可见,评委会对文章的工业价值还是比较看重的。

第一个实验就是向上丢枕头的抛压运动实验了,它证明了仅仅加入物理公式的先验,就可以训练神经网络预测物体运动轨迹信息

训练时,损失函数就是加入高级先验的损失函数:

其中:

正是用牛顿第二定律预判抛物线轨迹。

另一个实验,是预测视频中行人的行走轨迹:

使用一般的约束先验,就能达到很好的预测真实运动的效果,甚至比直接使用有标注样本训练有更好的泛化能力。作者认为如果使用全标注样本来训练,神经网络很容易过拟合。而使用无标注的样本训练,加入一个约束就会在整体上有效,如这个损失函数:

其中

表示限制在10mm范围内的运动。

最后一个实验,是预测图像出现的:

如果公主(金发)出现,那么马里奥也会出现, 但反之不然。橘黄和绿色的小怪兽随机出现。系统训练这种高级先验, 用来判断图片中有没有公主或者马里奥。第一列显示了样例图片。第二列和第三列分别显示对于公主和马里奥出现位置的预测。

此实验证明,一些约束的组合可以帮助更好地“无标注样本”地做出预测。

并且作者无标注样本的神经网络同样可以运用在离散的问题中(而不仅仅是视频)。

 

参考文献:

  1. http://www.aaai.org/Conferences/AAAI/2017/aaai17program.pdf
  2. Label-Free Supervision of Neural Networks with Physics and Domain Knowledge
  3. http://baike.baidu.com/item/AAAI/13827607
  4. 国际顶级人工智能会议AAAI 2017 开幕在即,雷锋网奉上四大看点集锦 | AAAI 2017
  5. AI会议的总结(by南大周志华)

本文章属于“David 9的博客”原创,如需转载,请联系微信: david9ml,或邮箱:yanchao727@gmail.com

发布者

David 9

邮箱:yanchao727@gmail.com 微信: david9ml

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注