AAAI 2017论文精选#1— 用物理学和域知识训练“无标注样本的”神经网络（ Outstanding Paper Award 优秀论文奖）

婴儿的基因里似乎有很高级的先验，他们自出生开始就运用自己的先验自主学习这个物质世界，而且成长迅速。— David 9

AAAI 英文全称是「National Conference of the Association for the Advance of Artificial Intelligence」，中文为「美国人工智能协会」年会，成立于 1979 年，今年2017已经举办到了第 31 届。

AAAI年会. 是一个很好的会议, 但其档次不稳定, 因为它的开法完全受 IJCAI制约: 每年开, 但如果这一年的 IJCAI在北美举行, 那么就停开. 所以, 偶数年里因为没有IJCAI, 它就是最好的AI综合性会议, 但因为号召力毕竟比IJCAI要小一些, 特别是欧洲人捧AAAI场的比IJCAI少得多(其实亚洲人也是), 所以比IJCAI还是要稍弱一点; 在奇数年, 如果IJCAI不在北美, AAAI自然就变成了比IJCAI低一级的会议, 例如2005年既有IJCAI又有AAAI, 两个会议就进行了协调, 使得IJCAI的录用通知时间比AAAI的deadline早那么几天, 这样IJCAI落选的文章 可以投往AAAI.在审稿时IJCAI 的 PC chair也在一直催, 说大家一定要快, 因为AAAI 那边一直在担心IJCAI的录用通知出晚了AAAI就麻烦了.

AAAI 2017结束不久，今天我们来研究2017的优秀论文奖：Label-Free Supervision of Neural Networks with Physics and Domain Knowledge。

没错，这篇论文可以运用到自动驾驶中，因为自动驾驶的环境有太多无样本标注的情况出现，没有人能对所有突发路况都事先了如指掌。这就是本论文最大应用价值之一。

借助高级的先验，进行无样本标注的训练，至少有两点好处：

1. 省去了人工标注样本的人工成本。
2. 高级的先验，可以在许多神经网络中复用，用来预训练。大大提高复用性和泛函能力。

这里的高级先验，可以是牛顿第二定律，也可以是万有引力公式等等（这是所谓的物理域。当然也可以有化学反应的域，天体运动域等等专业领域）。

所以论文的思路很简单：仅仅用这些公式就可以对视频中物体运动做预测了（虽然预测不是那么准确，但是，至少比没有预训练好多了，也比用人力去辛苦标注好多了）。

来看看如何做预训练（文章中叫“约束训练”（Constraint learning））：

我们的目标是训练神经网络f ， 但是因为样本标签Y未知，我们用高级的先验 g 去约束Y的域值，比如，如果你在视频中抛一个物体，我们知道它应该符合牛顿第二定律，即，成抛物线的轨迹。所以在训练f 时，用先验g去约束f的训练，就能做到预训练。

所以，传统的有标注样本的训练是这样的：

而无标注样本的训练是这样的：

我们用高级先验g 约束神经网络f的训练，构造一个损失函数，同时给f一个正则项R，允许f 有一定的偏差和泛函能力。

有意思的是，这篇论文的大半篇幅用在了实验上（文章覆盖了3个典型实验），可见，评委会对文章的工业价值还是比较看重的。

第一个实验就是向上丢枕头的抛压运动实验了，它证明了仅仅加入物理公式的先验，就可以训练神经网络预测物体运动轨迹信息：

训练时，损失函数就是加入高级先验的损失函数：

其中:

正是用牛顿第二定律预判抛物线轨迹。

另一个实验，是预测视频中行人的行走轨迹：

使用一般的约束先验，就能达到很好的预测真实运动的效果，甚至比直接使用有标注样本训练有更好的泛化能力。作者认为如果使用全标注样本来训练，神经网络很容易过拟合。而使用无标注的样本训练，加入一个约束就会在整体上有效，如这个损失函数：

其中

表示限制在10mm范围内的运动。

最后一个实验，是预测图像出现的:

此实验证明，一些约束的组合可以帮助更好地“无标注样本”地做出预测。

并且作者无标注样本的神经网络同样可以运用在离散的问题中（而不仅仅是视频）。

 

参考文献：

1. http://www.aaai.org/Conferences/AAAI/2017/aaai17program.pdf
2. Label-Free Supervision of Neural Networks with Physics and Domain Knowledge
3. http://baike.baidu.com/item/AAAI/13827607
4. 国际顶级人工智能会议AAAI 2017 开幕在即，雷锋网奉上四大看点集锦 | AAAI 2017
5. AI会议的总结（by南大周志华）

本文章属于“David 9的博客”原创，如需转载，请联系微信: david9ml，或邮箱：yanchao727@gmail.com