我们和我们的梦幻:对类脑智能的一些看法(一) ,Brain-inspired Intelligence

我们就是梦幻所用的材料,

一场睡梦环抱了短促的人生   ——   威廉·莎士比亚

智能体,特别是强协作的智能体,总是有许多相似之处,例如,我们总是可以把智能体看成客体,Ta是形成智能行为所需的“智能材料”, 而其主体是更底层的物质。

人类社会作为一个大型智能体,正在不断扩充自身物理和意识的边界,但是其主体——单个人类,是智能体不断运作的源泉,个体人类之间的连接方式(或强弱),或是人群聚集的模式,或是单个个体能力和功能上的变化,都会导致人类社会这个大型智能体的改变。

同样,对于我们单个人体自身,身体内部的基因或者神经元的选择,决定了我们的智能形态,我们的身体更像是基因或者神经元进行“智能实现”的材料,即使假设我们有自主意识,你会发现从一个拥有运动天赋的人转变为一个具有科学天赋的人可能会多么困难。  基因或者更深层次的物质已经为其所拥有的材料作出了选择,比如 ,虽然小脑体积只占整个脑的十分之一,但它却包含整个脑的一半以上的神经元:

如果每个人出生后的神经元是固定数量的,这些神经元的分布,组织和分配行为,是如何做到在混沌的世界中有序运作的,是研究类脑智能最有意思的问题。

这里需要指出的是,上面指出的“材料”不仅仅是智能体自身内部的自由资源,还有可以感知到的外部的自由资源。因此, 继续阅读我们和我们的梦幻:对类脑智能的一些看法(一) ,Brain-inspired Intelligence

ICLR2021【lambda神经网络】Transformer模型虽被改得面目全非,看似的“颠覆”更多是“侵蚀”,#局部注意力和特征提取

也许技术也存在“明斯基时刻”,

当那些“侵蚀”变为“颠覆”——David 9

因为人类是“感知”(欠理性)的动物,所以那些用“思潮”的力量影响(或鼓动)别人的人,也许才是最“可怕”的,其中也包括技术浪潮,神经网络和Transformer并没有那么神奇,但它们就像雪山顶上最高的那团雪球,却越滚越大,把周围的雪吸拢进来。

多数创新,是之前无数的“侵蚀”和修改积累而来的,但是就是有一些“颠覆”的创新,让你相信一切可以从头开始,一切变得会很不一样!但其实,我们也许只是达到另一个阶段而已。

就像许多论文喜欢杜撰一个“不一样”的名字,比如今天聊的lambda神经网络”,目前在ICLR2021预审中表现不错,让我们看看它有什么“不一样”,

就David的观察和ykilcher的视频分析lambda神经网络是对注意力机制的完善改进之一,而不是“颠覆”性的,但其中聪明的技巧值得我们学习,我就ykilcher的视频分析展开讨论: 

首先,目前现有的Transformer改进都是基于原有的短板(长序列难支持,计算量大,速度慢等)的改进。lambda神经网络也不例外,

众所周知,注意力机制(Transformer的核心),直白说,是把一组序列,映射到另一组序列,而中间的矩阵,就是负责映射(包含权重)的注意力矩阵:

来自:https://youtu.be/3qxJ2WD8p4w

其中,k和q就是注意力机制中的key,query,试想,如果输入序列非常长, 继续阅读ICLR2021【lambda神经网络】Transformer模型虽被改得面目全非,看似的“颠覆”更多是“侵蚀”,#局部注意力和特征提取

复杂模型解释的几种方法(interpret model): 可解释,自解释,以及交互式AI的未来#2,第二弹

如果不存在至高的上帝,那么也不存在至高的解释,不论解释者做何种努力 — David 9

假想这样一个场景,世界上仅有两个至高的神(比如“宙斯”和“赫拉”),互相解释同一件事情。虽然宙斯和赫拉都是无所不知的神,但我们假设宙斯对赫拉并不是无所不知的(同样赫拉对宙斯也是):

那么,他们相互可以解释清楚同一件事情吗?

因为赫拉除了宙斯之外已经无所不知了,那么,宙斯向赫拉解释的过程就退化为:把自己对这件事所知道的信息传递给赫拉

如果宙斯需要解释的信息都是共同知道的信息,那这种信息传递较容易。但如果解释中包括了宙斯知道的信息而赫拉不知道的,那么赫拉将难以理解和消化。并且,宙斯不知道赫拉有哪些事是已经知道的,所以宙斯不一定能高效地把自己知道的一切让赫拉明白。

也许,最高效的解释不仅是找到共同可以理解的交集,也在于如何预测对方可能已经知道的信息。

回到正题,对于复杂模型的解释,人们普遍停留在找“可以共同理解”的交集,当然, 继续阅读复杂模型解释的几种方法(interpret model): 可解释,自解释,以及交互式AI的未来#2,第二弹