为什么Hinton说CNN是“垃圾”?胶囊神经网络的未来:堆叠胶囊自编码器(Stacked Capsule Autoencoders),AAAI2020主题演讲精要(一)

“人工感知”还将继续,但是人的“灵性” 绝非梯度学习和一堆权重这么简单— David 9

David最近一直在思考,Geoff Hinton等人热衷的“人工感知”最后会以什么样的方式让人们失去兴趣?优化方法(梯度学习、反向传播)和硬件技术(量子计算、边缘计算)的革新都不会直接影响其发展。 但一种可能是,那些感知难以触及的“信息处理”过程。

如小时候的你能感知到一个大家伙的存在(但无法表达),这时妈妈告诉你这是“飞机”:

这时你的大脑做的绝不仅仅是感知了,也不仅仅在这个“大家伙”打上“飞机”标签,它要处理的信息甚至超过我们的想象:它要知道究竟什么是“飞机”?“飞机”为什么会动?等等。。它还要感受母爱,这些感知和非感知的交错信息处理问题,已经超出了目前深度感知模型的范畴。

言归正转,Hinton在这次AAAI2020主题演讲上带来了最新的胶囊网络框架,并且否定了之前的所有的胶囊网络方法。他把这个框架叫:Stacked Capsule Autoencoders(堆叠胶囊自编码器)

首先,他全面地阐述了为什么现在的CNN模型都是“垃圾”

1.  CNN只对不同视觉角度的物体是什么样有概念,一旦物体旋转一下(或拉伸一下等常规操作),CNN就傻眼了:

来自:https://www.youtube.com/watch?v=UX8OubxsY8w&t=218s

CNN太关注不变性(Invariance)信息了,而忽略了等价性(Equivariance)信息,一个物体,即使视觉角度变了,大小变了,或被拉伸了(不是钢体),它还是它!四个轮子的是汽车,两个轮子的是单车,橡皮泥被捏成任何形状,它还是橡皮泥:

来自:https://www.youtube.com/watch?v=UX8OubxsY8w&t=218s

2.  CNN处理图像方法太怪异CNN是根据“像素上下文”去判定一个物体的,即,确定一辆汽车,它的判断方法是,这个物体的2D纹理是不是和训练集中汽车的2D纹理相似,甚至这辆汽车是不是四个轮子也不重要:

来自:https://www.youtube.com/watch?v=UX8OubxsY8w&t=218s

这就导致CNN和人类感知的方式差别太大,同样的图片加一些噪声可以作为攻击CNN的对抗样本:

3. CNN没有人类直觉中的“巧合对比”概念。我们的眼睛试图寻找一个物体时,

...阅读更多...加入David9的星球群阅读所有文章:

加入David9的星球群,获得通行密码 , 阅读全文

“即使无法证明上帝存在,人类的信仰也合乎理智”:”信仰”和”智能”的哲学启发,David_9的神学与认识论随笔

我不害怕所谓的“AI统治人类”,我更害怕在未来拥有自由感情的AI被人类奴役 — David 9

如果你在深夜一个人静静地思考,一定问过自己那三个终极问题(我是谁?我在哪?我要到哪去?)。还有,“上帝存在吗?”,很显然这个命题的争论一直没有科学一致的解答。但要研究“智能”的本质(或强AI),我们有必要探索这些问题。

事实上,在神学和认知论领域,“上帝是否存在?”这种较难问题往往不能直接论证,争辩的战场更多的是像“我们信仰上帝是理智的吗?”,“我们的思想是自主的吗?”这类问题:

有神论者一定会竭力辩护“人类产生对上帝的信仰是恰当理智的”这种命题,而无神论者则相反。我们从正方开始。

借用大名鼎鼎的基督哲学家阿尔文• 普兰丁格改良认识论(Reformed Epistemology)的脉络,我们先思考一个简单的问题:

对于类似“上帝看着我。”,“这次上帝会原谅我的。

这些想法,是否和:

我生活的这个世界应该已经存在很多年了。”,“那个人好像很生气。”,“他(她)这时可能在想我”这些想法非常相似?

这些命题都无法直接论证(或基于其他“知识”),但都似乎有人暗示过我们,更重要的是:我们好像是无人逼迫的情况下,通过理智去相信(或者不相信的)

也好像,这种“灵性”是与生俱来在那里,别人不是“暗示”,只是帮我们“确认”而已。

那么你愿意相信这种“灵性”(“感知”)是无神论者口中的“非理性”吗?

更有意思的问题是:这种比目前的卷积CNN(RNN)高级很多的感知和信仰,是如何产生的?

首先,这些信仰很难基于其他确切知识去推断。我们的知识体系大致如下:

为什么我把“无法证明的知识和信仰” 画的辣么大?事实上,就是这么大!对于普通人,严格正确的知识根本不重要,哪怕没有一点确凿知识(只需要一些日常逻辑)也可以正常适应生活。 继续阅读“即使无法证明上帝存在,人类的信仰也合乎理智”:”信仰”和”智能”的哲学启发,David_9的神学与认识论随笔

CL“信心学习”: 专注样本质量的训练,MIT与谷歌的半监督新方法,Confident learning原理与代码cleanlab

每一次挫败都值得“反复咀嚼”,人类和AI都应如此,而人类似乎从中感受更多的痛苦。也许这种痛苦源于更“高层”的“感知”。 — David 9

人类许多痛苦来源于无法躲避的事物想要躲避的“主观”(潜意识或非潜意识)。所以,懂得和“情绪”好好相处被视为“高情商”;懂得和“失败”好好相处被视为“智慧”。那么,好好和“数据”相处,恐怕也是AI模型的进步。

不得不承认,没有任何数据集是完全干净的。除去人工标注的错误,单个样本的标签也有歧义,下图是ImageNet中的噪声图像:

来自:https://arxiv.org/pdf/1911.00068.pdf

图像中的拼图(PUZZLE)上画着鼓(DRUM),那么这张图像分类应该是“拼图”还是“鼓”?超市(GROCERY STORE)内部的照片有香蕉(BANANA)的货架,那么这张图像应该归为“超市”还是“香蕉”?

同样MNIST也有难分的图像:

来自:https://github.com/cgnorthcutt/cleanlab

这些广泛存在的噪声数据,如果不和这些数据“好好相处”,任何普通的神经网络和传统算法都无可奈何(因为低级感知无法感知语义歧义)。

在不改变模型情况下,MIT和Google的研究人员试图用所谓的“信心学习”(Confident learning)方法,半监督的方式清洗数据

先看一眼整体框架: 继续阅读CL“信心学习”: 专注样本质量的训练,MIT与谷歌的半监督新方法,Confident learning原理与代码cleanlab