探究“网红科学家”眼中的”智能“:Keras作者François Chollet谈AI,以及David的一些想法

如果你的思考足够抽象,并赋予抽象非凡的意义,AI很难赶上你 — David 9

最近看的Keras作者François Chollet访谈,David我也是他的粉丝,

如果说特朗普是twitter治国的,也许他就是twitter治AI的了,下面这推就表示了他对目前AI学界的深深担忧😁😁😁:

是的,大多数深度学习论文本质上借助的是人类先验人类智能对数据集的理解

这无疑引出了本质问题,这位“网红”科学家对智能的看法究竟如何?我在这里总结了6个重点供大家讨论,

1. 所谓“智能大爆发”可能存在吗?NO!François认为首先,我们不能孤立地看待“智能”这个东西,它绝不是孤立在天空中的城堡

所有我们已知的智能(包括人类智能)都是和这个世界的环境密切交互的“智能”这个东西更像是集市中的信息交换,他的进展有很多不确定性,一个小市场,外围也许还有多个大市场,周围的环境也复杂多变:

我们人类智能之所以到现在这个阶段,除了为了适应生存生产活动,还要与其它物种竞争,以及一些运气的成分,才让我们变成现在看到的这种“智能”。所以,上下文很重要。

如果说有“超人类的智能大爆发”,那么这个“智能”是如何以这么快的速度适应周围环境和人类以及其他物种竞争的?如果一下子变成超人智能,它又是如何像爱因斯坦那样寻找一个宏大的问题的答案?至少从David的直觉,我赞同François。我认为这种突破是缓慢的信息交互的产物,不是可以“爆发”产生的,但可以缓慢到达某个阶段。

2. 智能是线性增长的。这也许是François最著名的论断,David之前就听过。 他的解释也很有意思,他不否认当一个产业兴起时,资源的分配是爆炸增长的,这就是我们在日常生活中的感觉(几十年前的互联网泡沫,工业革命,信息化革命,AI浪潮等等)。但是,科学本身的发展是线性的,下图是历年来物理学发展突破的评分图:

Data from Patrick Collison and Michael Nielsen

图中每10年的物理学发展程度,大都是平缓持平的,没有巨大波动。因此如果把人类总体的智慧做一个大智能体继续阅读探究“网红科学家”眼中的”智能“:Keras作者François Chollet谈AI,以及David的一些想法

谈谈谷歌的免训练网络(早熟模型)及其前景,David9的神经网络观察,WANN(Weight Agnostic Neural Networks)

如在某方面过于早熟,是否可能阻碍更高级的智能发展? — David 9

对于早熟(precocial)动物我们并不陌生,一匹小马在出生几小时以内就可以自我站立走路:

自然选择使得这种物种特别偏爱这样一个技能:“跑”,甚至在出生后不需要怎么训练就能快速学会。那么神经网络是否也可以实现免训练(早熟模型)呢?谷歌这篇论文给出的答案是肯定的。

更有意思的是,这篇权重不可知网络WANN(Weight Agnostic Neural Networks)类似的也适用于小马走路这种简单的行为任务,包括模拟直立前进赛车小游戏

来自:https://arxiv.org/abs/1906.04358

与现有神经网络迥然不同,整个WANN网络从最简单的几条连接开始构造,仅通过拓扑搜索而不通过权重训练(权重通过设定超参数,由此,从一个分布中随机拿到),为了最小化权重的影响力,  挑选了那些对多数权重都表现较好的拓扑作为候选拓扑(有些遗传算法的思想在里面):

来自:https://arxiv.org/abs/1906.04358

谷歌开了个好头因为常人太在乎权重训练了,把注意力移到拓扑搜索上来,也许有新的发展。

但是,神经网络拓扑的搜索空间较大, 继续阅读谈谈谷歌的免训练网络(早熟模型)及其前景,David9的神经网络观察,WANN(Weight Agnostic Neural Networks)

脉冲神经网络(SNN)会是下一代神经网络吗? 知识梳理和源码解析,David 9的SNN初体验,Spiking Neural Network

Neurons that fire together wire together — Donald O. Hebb

小时候你们应该听大人说过:“脑子不用会生锈”,教导我们要多思考多练习。后来我们真的发现需要肌肉记忆的运动如篮球、高尔夫,所谓的“球感”,正应验了赫布理论那句老话:“Neurons that fire together wire together”。我们的那些神经元似乎越是频繁地连接,越是有“存在感”。甚至在训练足够多的次数后,神经元的连接如此强烈,以至于产生了条件反射。

另一方面我们的神经元可以训练并适应不同的任务,其可塑性惊人。当今所谓的神经网络不过皮毛。

今天聊的脉冲神经网络(SNN),只是弥补了神经网络中的一处不足。我们在之前的post提到过Hinton老爷子对未来神经网络的展望,其中一个重点就是目前神经网络的时间线(尺度)太少了

开始之前,先简单回顾一下神经网络的发展。

感知机(perceptron),是神经元间的直连感知

来自:https://www.youtube.com/watch?v=3JQ3hYko51Y

其中白色较亮的点是被激活(更兴奋)的神经元。

对于多层感知机,只是层数变多了,依旧是直连加反向传播

来自:https://www.youtube.com/watch?v=3JQ3hYko51Y

轮到现在流行的CNN, 只是比感知机多了卷积层:

来自:https://www.youtube.com/watch?v=3JQ3hYko51Y

到目前为止可以发现,所有连接权重的更新速度是一样的。即所有神经元的连接,在某个时间点的兴奋度低,但在下一个时间点的兴奋度可能很高!(因为反向传播才不管这么多),细想,不符合那句老话:“Neurons that fire together wire together”。此刻兴奋的神经元在下一时刻应该惯性地也比较兴奋才对继续阅读脉冲神经网络(SNN)会是下一代神经网络吗? 知识梳理和源码解析,David 9的SNN初体验,Spiking Neural Network