为什么神经网络(cnn)关心纹理,而不关心位置和形状信息?整理一些解释和参考文献

我们在第一部分讨论胶囊网络时提到过神经网络(cnn)对纹理很敏感,而不够关心位置和形状信息,这里是David收集的更多的讨论和参考文献,希望对你们有帮助:

1. 研究人员证明神经网络的物体检测有多脆弱,以及一些对抗样本例子:Machine Learning Confronts the Elephant in the Room

2. 实验证明数据增强不能把神经网络的泛化能力提高到人类的水平:Generalisation in humans and deep neural networks

3. 一些非常相似的图片足以迷惑神经网络, 继续阅读为什么神经网络(cnn)关心纹理,而不关心位置和形状信息?整理一些解释和参考文献

David9划重点:对Hinton和LeCun在ACM联合大会演讲的5点思考,深度学习的未来,底层和上层

人类强大的“脑补”和“移情”能力,可能需要AI很久才能跟上 — David 9

前不久四年一度的ACM联合大会在美国亚利桑那州召开,包括今年图灵奖的主深度学习奠基人Hinton和LeCun也各自发表了演讲。Hinton更偏重深度学习的历史进展和神经网络本身底层的未来,LeCun演讲更关注上层解释和应用。Hinton和LeCun的演讲主题是深度学习革命”:

来自:https://www.youtube.com/watch?v=VsnQf7exv5I

这里David总结下面5点思考,帮助学习交流:

1. 符号型AI  VS.  非符号型AI(深度学习),谁才是对的?

从AI历史说起,Hinton一上来就提到两种AI派别:符号型AI(symbolic)非符号型AI(non-symbolic)。事实上这两个派别已涉及到哲学领域。

符号型AI学派认为所谓“智能”是需要推理(reasoning)和逻辑(logic)指导的, 没有前后因果的“智能”简直就是耍流氓。我们能分得清猫和老虎是因为我们大脑中其实有复杂逻辑判别(虽然你不自知)

而Hinton所支持的非符号AI学派(如深度学习)认为,我们应该专注学习和感知,没有因果推理没关系,只要神经网络切实地工作并学到东西即可。通过神经连接学习也可以判断猫和老虎。

来自:https://www.youtube.com/watch?v=VsnQf7exv5I

虽然,目前非符号AI学派看似有压倒性优势(符号AI的地盘已经不多,包括自然语言逻辑推理领域),但是,David的观点是,无论是哪一派,都绕不开所谓的“自由意志”这个点(或者至少让AI自认为有自由意志),没有人证明通过感知的堆叠可以更接近自由意志,也没有人证明抛开因果推理我们人类依旧可以成为“自由意志”的智人。

另外,未来计算机体系结构的变化可能直接影响未来AI的发展方向,我们不知道未来的边缘计算,分布式计算哪怕是5G会给符号型AI什么契机,所以,你们可以冷静地思考一下,而不是盲目拥抱深度学习

2. 反向传播会是未来吗? 继续阅读David9划重点:对Hinton和LeCun在ACM联合大会演讲的5点思考,深度学习的未来,底层和上层

看图闪电入门Numpy,Numpy数据结构,David9的np.array日常

Numpy无疑是入门数据科学或深度学习几乎必学的工具,感谢网友和David一起翻译改编了这篇blog帮助大家对numpy闪电入门和整理:

使用numpy包的时候一般是从下面这句代码开始的:

import numpy as np

####创建数组
使用np.array()函数,这个函数的参数可以是列表,来创建一个nunpy数组

还可以通过其他的方式创建数组,并初始化。比如说ones(), zeros(), random.random()

一旦我们创建了数组,我们就可以对它们进行操作了。

####数组操作
首先创建两个数组,并将它们分别命名为data, ones:

将两个数组相加,它这个操作会对对应位置的数组元素进行相加并赋值到新的数组:
不仅仅可以进行加法操作,还可以进行其他的运算:我们还可以进行数组和标量之间的运算,这种形式叫做广播

如果要快速合并两个数组(或矩阵),vstackhstack是很好的工具,

vstack是以”行”的方式合并,hstack是以”列”的方式合并

还可以同时合并多个array或矩阵: 继续阅读看图闪电入门Numpy,Numpy数据结构,David9的np.array日常