月度归档： 2019 年 7 月

David9的ICML2019观察：Tesla自动驾驶建模是如何搞定多任务学习的？实时多任务，autopilot自动导航

人类在做其他看似不相关的事情时，会给手头的任务带来灵感; 模型也应如此，让它在训练时做其他任务，会对它的实际预测带来好处(正则约束)  — David 9

多任务模型David不是第一次讲了，但是之前涉及的是强化学习或自然语言领域。在视觉领域，多任务学习就更有意思了。自动驾驶是该领域的常见应用，不但要求准确率99%+，极低延时，而且是一个开阔的“无限游戏”，正如特斯拉AI负责人Andrej Karpathy在ICML2019发言上提到的，其复杂性是多方面的，

遇到的车况可能很复杂：

来自：Andrej Karpathy的演讲《Multi-Task Learning in the Wilderness》，见文末参考文献

摄像头的视觉角度也很复杂（8个方向）:

来自：Andrej Karpathy的演讲《Multi-Task Learning in the Wilderness》，见参考文献

更复杂的是，自动驾驶天生就是多任务的：

来自：Andrej Karpathy的演讲《Multi-Task Learning in the Wilderness》，见参考文献

在你开车时，你的眼睛和大脑要同时分析移动的车辆，静态的路灯，斑马线，路标，警示牌，等等。。。甚至loss函数的设计都是复杂的，因为一些任务就是比一些任务更重要（我们要重点关注突然闯红灯的行人）

要适应如此复杂多变的环境并且要求实时导航，如何去建模真的很有挑战性。首先，你不可能对每个任务都建一个模型：

来自：Andrej Karpathy的演讲《Multi-Task Learning in the Wilderness》，见参考文献

这样哪怕可行开销也太大（除非你想多送用户几块gpu或硬件资源）。另一个极端是所有任务都合并为一个模型： 继续阅读David9的ICML2019观察：Tesla自动驾驶建模是如何搞定多任务学习的？实时多任务，autopilot自动导航

为什么神经网络(cnn)关心纹理，而不关心位置和形状信息？整理一些解释和参考文献

我们在第一部分讨论胶囊网络时提到过神经网络(cnn)对纹理很敏感，而不够关心位置和形状信息，这里是David收集的更多的讨论和参考文献，希望对你们有帮助：

1. 研究人员证明神经网络的物体检测有多脆弱，以及一些对抗样本例子：Machine Learning Confronts the Elephant in the Room

2. 实验证明数据增强不能把神经网络的泛化能力提高到人类的水平：Generalisation in humans and deep neural networks

3. 一些非常相似的图片足以迷惑神经网络， 继续阅读为什么神经网络(cnn)关心纹理，而不关心位置和形状信息？整理一些解释和参考文献

David9划重点：对Hinton和LeCun在ACM联合大会演讲的5点思考，深度学习的未来，底层和上层

人类强大的“脑补”和“移情”能力，可能需要AI很久才能跟上 — David 9

前不久四年一度的ACM联合大会在美国亚利桑那州召开，包括今年图灵奖的主深度学习奠基人Hinton和LeCun也各自发表了演讲。Hinton更偏重深度学习的历史进展和神经网络本身底层的未来，LeCun演讲更关注上层解释和应用。Hinton和LeCun的演讲主题是“深度学习革命”：

来自：https://www.youtube.com/watch?v=VsnQf7exv5I

这里David总结下面5点思考，帮助学习交流：

1. 符号型AI  VS.  非符号型AI（深度学习），谁才是对的？

从AI历史说起，Hinton一上来就提到两种AI派别：符号型AI（symbolic）和非符号型AI（non-symbolic）。事实上这两个派别已涉及到哲学领域。

符号型AI学派认为所谓“智能”是需要推理（reasoning）和逻辑（logic）指导的, 没有前后因果的“智能”简直就是耍流氓。我们能分得清猫和老虎是因为我们大脑中其实有复杂逻辑判别（虽然你不自知）

而Hinton所支持的非符号AI学派（如深度学习）认为，我们应该专注学习和感知，没有因果推理没关系，只要神经网络切实地工作并学到东西即可。通过神经连接学习也可以判断猫和老虎。

来自：https://www.youtube.com/watch?v=VsnQf7exv5I

虽然，目前非符号AI学派看似有压倒性优势（符号AI的地盘已经不多，包括自然语言和逻辑推理领域），但是，David的观点是，无论是哪一派，都绕不开所谓的“自由意志”这个点（或者至少让AI自认为有自由意志），没有人证明通过感知的堆叠可以更接近自由意志，也没有人证明抛开因果推理我们人类依旧可以成为“自由意志”的智人。

另外，未来计算机体系结构的变化可能直接影响未来AI的发展方向，我们不知道未来的边缘计算，分布式计算哪怕是5G会给符号型AI什么契机，所以，你们可以冷静地思考一下，而不是盲目拥抱深度学习

2. 反向传播会是未来吗？ 继续阅读David9划重点：对Hinton和LeCun在ACM联合大会演讲的5点思考，深度学习的未来，底层和上层