“万千大脑理论”(A thousand brains theory) #2,机器智能和人类智能,构建智能的启发

人工智能是契合人类环境生长出的智能,他们应该有自己的旧皮层并从现在开始随着人类一同进化,而不是借用人类的旧皮层。比如,任何人类受到伤害时,他们都应该觉得痛苦,而不是无动于衷 —— David 9

上一次我们讨论了“万千大脑理论”的主要思想新皮层中的皮质柱是非常通用灵活的,每个皮质柱都有自己的世界模型,正是这种灵活性使得人类可以完成数不胜数的日常任务。但这种灵活也有缺点,我们人类的行走平衡,跑步跳跃等动作主要是靠旧皮层完成的,我们不需要思考和多余感知完成这些动作。这些强“具身”的智能可能是新皮层无法胜任的。

另外,我们还未解答150000个皮质柱各自维护的世界模型,为什么没有对我们认知世界产生矛盾和阻碍?Jeffrey Hawkins给出的答案是“投票”。但他并没有给出具体的投票机制,但他给出一些大致的解释轮廓,当你看到如下这张图,无论你把它看做是花瓶还是两个人脸的侧脸,你的视觉系统在同一时刻都倾向于看成一个对象而不是同时两个: 新皮层在做决定时倾向于达成一致意见。另外,管理各个感知领域的皮层部分,对不同的信号,在投票时有不同的“发言权”,可以把所有皮质柱想象成一个城市中不同职责的维护者,当城市的地下下管道出问题时,修理建筑的工人是没有发言权的,这个应该交给管道工人。

各个工人的分工非常精细和稳定,当你的视觉皮层看到一个物体被遮挡时,我们能够很自然地想象出背后的整个物体,因为我们之前看到过,而“看到过它的”那些皮质柱有最大的“发言权”。      

由这些理论延伸出去,Jeffrey Hawkins对机器智能未来的看法非常明朗,他认为意识只不过是体验到存在的感觉,那么如何体验到存在?我们需要持续地产生近期的对于体验的记忆,并且能够随时在一天中回放这些记忆。

比如某一时刻你走到了卧室中,但是你忘记为什么要走到卧室,于是你开始回忆你之前在干什么,在什么地方,现在为什么又会到卧室这里,你试图把记忆串起来,于是你也就有了意识,你真切地体验到你在这个世界中是一个智能体的感受。

但,david认为Jeffrey可能漏了一点更重要的问题: 继续阅读“万千大脑理论”(A thousand brains theory) #2,机器智能和人类智能,构建智能的启发

“万千大脑理论”(A thousand brains theory),Jeffrey Hawkins给我们的脑科学启发#1,新皮层中的新发现与现代神经网络的发展

如果智能被人工干涉和控制的速度,超过智能进化的速度,世界会如何改变?—— David 9

虽然人类对自身智能的理解,达到了前所未有的深度,但无法否认的是我们能破解的“自然智能”少之又少。而现今人口中的“人工智能”又相当有限。而当人们可以干涉和控制“自然智能”时(当然目前看来最有意思的是我们自身大脑),我们的所谓“人工智能”才能到达一个新高度。

想象这个未来是相当有趣的,如果我们可以控制大脑的运作(无论是一次性还是永久的)。比如我们在出生时就可以选择视觉好一点听觉差一点,或者逻辑能力强一点而艺术灵感弱一点(或者相反),人类一个个体的选择,促成整个社会大智能体的演变,这将是一个新的时代。。。

言归正传,今天我们探讨的”万千大脑理论”(A thousand brains theory)是一个简洁优美的理论。

首先,我们对大脑的结构需要一个全局理解,大脑可以粗略地分为新脑(新皮层neocotex)和旧脑(old brain),  下图的爬行脑和边缘系统可以归为旧脑,而新皮层是长在最外围的。 值得强调的是,大脑随着千万年的进化和迭代是一层一层长上去的,新皮层不会因为是后进化出来的而把旧皮层推倒重来。(当然像爬行动物或较低等不如动物根本没有进化出复杂的新皮层组织)。这一点足以揭示现代神经网络的问题,不应局限在把注意力集中在模型结构和权重更新上,新的网络在旧的网络上去继续生长并不冲突,或许我们应该努力把模型兼容性和连接性提升上去 !

我们都知道旧皮层管理原始冲动(情绪,饥渴等), 新皮层管理更高级的感知和推理(感官知觉,空间推理,有意识的思考,情景记忆,语义理解等),两者有竞争机制,一个原始的你和一个理智的你在不断抢占主导。

因此,研究高等智能,我们首先需要理解新皮层在做些什么?以下是新皮层中一些区域的连接情况:

从全局上看,大脑并没有很严格的分层机制,即使是同一层也有许多信息的往来,错综复杂。和现代的人工CNN的分层结构也有很大不同。

另外,新皮层的基本功能单元叫做皮质柱(cotex column), 如果以截面积1平方毫米,厚度2.5mm计算,人类大脑的新皮层大约有150000个皮质柱, 而新皮质约占总脑容量的76%。

脑科学家经过长期实验,指出3点重要的观察:

1. 每个局部的皮质柱就已经非常复杂。如上所述的2.5mm厚的皮质柱,就有10万个神经元,5亿个连接(突触)。神经元之间的连接错综复杂。

2. 不同区域的皮质柱,表现都非常类似。如果你把视觉区域的皮质柱和听觉区域的皮质柱拿出来,

...阅读更多...加入David9的星球群阅读所有文章:

加入David9的星球群,获得通行密码 , 阅读全文

如何不入俗套并像专家一样训练模型? —— David9的打趣帖子

来自deci.ai的专家提了一些不入俗套的训练模型的建议,david觉得不错,分享给大家,如果你每天还在机械化地调整模型超参数,不妨看看下面几个建议:

1)  使用指数滑动平均EMA(Exponential Moving Average). 

当模型容易陷入局部最优解时,这种方法比较有效。

EMA 是一种提高模型收敛稳定性,并通过防止收敛到局部最优来达到更好的整体解的方法。— Shai Rozenberg

公式大致如下: 2)  权重平均

每个人都喜欢免费额外的性能提高。

加权平均可以达到这一点。当然,训练N个模型再平均他们的权重开销比较大。另一种更节省成本的方式是,把比较好的那些epoch的模型拿出来做平均,这样只要训练一次,又能达到意想不到的效果。

3)  batch积累

如果有一些模型训练开销很大,而且需要的GPU显存又很多,你不得不降低batch size达到训练的目的。然而,和原来训练代码配套的超参数似乎就要重新调整了? 继续阅读如何不入俗套并像专家一样训练模型? —— David9的打趣帖子