为什么Hinton说CNN是“垃圾”?胶囊神经网络的未来:堆叠胶囊自编码器(Stacked Capsule Autoencoders),AAAI2020主题演讲精要(一)

“人工感知”还将继续,但是人的“灵性” 绝非梯度学习和一堆权重这么简单— David 9

David最近一直在思考,Geoff Hinton等人热衷的“人工感知”最后会以什么样的方式让人们失去兴趣?优化方法(梯度学习、反向传播)和硬件技术(量子计算、边缘计算)的革新都不会直接影响其发展。 但一种可能是,那些感知难以触及的“信息处理”过程。

如小时候的你能感知到一个大家伙的存在(但无法表达),这时妈妈告诉你这是“飞机”:

这时你的大脑做的绝不仅仅是感知了,也不仅仅在这个“大家伙”打上“飞机”标签,它要处理的信息甚至超过我们的想象:它要知道究竟什么是“飞机”?“飞机”为什么会动?等等。。它还要感受母爱,这些感知和非感知的交错信息处理问题,已经超出了目前深度感知模型的范畴。

言归正转,Hinton在这次AAAI2020主题演讲上带来了最新的胶囊网络框架,并且否定了之前的所有的胶囊网络方法。他把这个框架叫:Stacked Capsule Autoencoders(堆叠胶囊自编码器)

首先,他全面地阐述了为什么现在的CNN模型都是“垃圾”

1.  CNN只对不同视觉角度的物体是什么样有概念,一旦物体旋转一下(或拉伸一下等常规操作),CNN就傻眼了:

来自:https://www.youtube.com/watch?v=UX8OubxsY8w&t=218s

CNN太关注不变性(Invariance)信息了,而忽略了等价性(Equivariance)信息,一个物体,即使视觉角度变了,大小变了,或被拉伸了(不是钢体),它还是它!四个轮子的是汽车,两个轮子的是单车,橡皮泥被捏成任何形状,它还是橡皮泥:

来自:https://www.youtube.com/watch?v=UX8OubxsY8w&t=218s

2.  CNN处理图像方法太怪异CNN是根据“像素上下文”去判定一个物体的,即,确定一辆汽车,它的判断方法是,这个物体的2D纹理是不是和训练集中汽车的2D纹理相似,甚至这辆汽车是不是四个轮子也不重要:

来自:https://www.youtube.com/watch?v=UX8OubxsY8w&t=218s

这就导致CNN和人类感知的方式差别太大,同样的图片加一些噪声可以作为攻击CNN的对抗样本:

3. CNN没有人类直觉中的“巧合对比”概念。我们的眼睛试图寻找一个物体时,

...阅读更多...加入David9的星球群阅读所有文章:

加入David9的星球群,获得通行密码 , 阅读全文

一篇有意思的demo paper: 多智能体的RL增强学习平台, 理解群体智能和社会现象学,AAAI2018论文选读

社会学家似乎也应该拿起AI的工具 — David 9

国人的勤奋总是令人惊讶,上海交大和伦敦大学学院(UCL)在今年nips大会AAAI2018上发表了一篇有意思的demo paper,MAgent: 一个多智能体的RL增强学习平台, 帮助理解群体智能和社会现象学。先看一下MAgent可视化模拟红蓝两军战斗的demo,通过训练一个共享参数DQN,最后宏观上智能体学会一些协同策略:包围进攻(图1),合力追击(图2):

来自:https://github.com/geek-ai/MAgent

来自:https://github.com/geek-ai/MAgent

作者不仅开源了MAgent平台,而且平台可扩展性和性能似乎相当不错,文章称在单GPU机器上可以同时训练100万个agent智能体,考虑到额外的图形模拟的渲染压力同时有DQN训练压力,C++代码性能确实不错(如果训练时间可以接受的话)。 继续阅读一篇有意思的demo paper: 多智能体的RL增强学习平台, 理解群体智能和社会现象学,AAAI2018论文选读

AAAI 2017论文精选#1— 用物理学和域知识训练“无标注样本的”神经网络( Outstanding Paper Award 优秀论文奖)

婴儿的基因里似乎有很高级的先验,他们自出生开始就运用自己的先验自主学习这个物质世界,而且成长迅速。— David 9

AAAI 英文全称是「National Conference of the Association for the Advance of Artificial Intelligence」,中文为「美国人工智能协会」年会,成立于 1979 年,今年2017已经举办到了第 31 届。

AAAI年会. 是一个很好的会议, 但其档次不稳定, 因为它的开法完全受 IJCAI制约: 每年开, 但如果这一年的 IJCAI在北美举行, 那么就停开. 所以, 偶数年里因为没有IJCAI, 它就是最好的AI综合性会议, 但因为号召力毕竟比IJCAI要小一些, 特别是欧洲人捧AAAI场的比IJCAI少得多(其实亚洲人也是), 所以比IJCAI还是要稍弱一点; 在奇数年, 如果IJCAI不在北美, AAAI自然就变成了比IJCAI低一级的会议, 例如2005年既有IJCAI又有AAAI, 两个会议就进行了协调, 使得IJCAI的录用通知时间比AAAI的deadline早那么几天, 这样IJCAI落选的文章 可以投往AAAI.在审稿时IJCAI 的 PC chair也在一直催, 说大家一定要快, 因为AAAI 那边一直在担心IJCAI的录用通知出晚了AAAI就麻烦了.

AAAI 2017结束不久,今天我们来研究2017的优秀论文奖:Label-Free Supervision of Neural Networks with Physics and Domain Knowledge

没错,这篇论文可以运用到自动驾驶中,因为自动驾驶的环境有太多无样本标注的情况出现,没有人能对所有突发路况都事先了如指掌。这就是本论文最大应用价值之一。

借助高级的先验,进行无样本标注的训练,至少有两点好处:

  1. 省去了人工标注样本的人工成本。
  2. 高级的先验,可以在许多神经网络中复用,用来预训练。大大提高复用性和泛函能力。

继续阅读AAAI 2017论文精选#1— 用物理学和域知识训练“无标注样本的”神经网络( Outstanding Paper Award 优秀论文奖)