“万千大脑理论”(A thousand brains theory),Jeffrey Hawkins给我们的脑科学启发#1,新皮层中的新发现与现代神经网络的发展

如果智能被人工干涉和控制的速度,超过智能进化的速度,世界会如何改变?—— David 9

虽然人类对自身智能的理解,达到了前所未有的深度,但无法否认的是我们能破解的“自然智能”少之又少。而现今人口中的“人工智能”又相当有限。而当人们可以干涉和控制“自然智能”时(当然目前看来最有意思的是我们自身大脑),我们的所谓“人工智能”才能到达一个新高度。

想象这个未来是相当有趣的,如果我们可以控制大脑的运作(无论是一次性还是永久的)。比如我们在出生时就可以选择视觉好一点听觉差一点,或者逻辑能力强一点而艺术灵感弱一点(或者相反),人类一个个体的选择,促成整个社会大智能体的演变,这将是一个新的时代。。。

言归正传,今天我们探讨的”万千大脑理论”(A thousand brains theory)是一个简洁优美的理论。

首先,我们对大脑的结构需要一个全局理解,大脑可以粗略地分为新脑(新皮层neocotex)和旧脑(old brain),  下图的爬行脑和边缘系统可以归为旧脑,而新皮层是长在最外围的。 值得强调的是,大脑随着千万年的进化和迭代是一层一层长上去的,新皮层不会因为是后进化出来的而把旧皮层推倒重来。(当然像爬行动物或较低等不如动物根本没有进化出复杂的新皮层组织)。这一点足以揭示现代神经网络的问题,不应局限在把注意力集中在模型结构和权重更新上,新的网络在旧的网络上去继续生长并不冲突,或许我们应该努力把模型兼容性和连接性提升上去 !

我们都知道旧皮层管理原始冲动(情绪,饥渴等), 新皮层管理更高级的感知和推理(感官知觉,空间推理,有意识的思考,情景记忆,语义理解等),两者有竞争机制,一个原始的你和一个理智的你在不断抢占主导。

因此,研究高等智能,我们首先需要理解新皮层在做些什么?以下是新皮层中一些区域的连接情况:

从全局上看,大脑并没有很严格的分层机制,即使是同一层也有许多信息的往来,错综复杂。和现代的人工CNN的分层结构也有很大不同。

另外,新皮层的基本功能单元叫做皮质柱(cotex column), 如果以截面积1平方毫米,厚度2.5mm计算,人类大脑的新皮层大约有150000个皮质柱, 而新皮质约占总脑容量的76%。

脑科学家经过长期实验,指出3点重要的观察:

1. 每个局部的皮质柱就已经非常复杂。如上所述的2.5mm厚的皮质柱,就有10万个神经元,5亿个连接(突触)。神经元之间的连接错综复杂。

2. 不同区域的皮质柱,表现都非常类似。如果你把视觉区域的皮质柱和听觉区域的皮质柱拿出来,

...阅读更多...加入David9的星球群阅读所有文章:

加入David9的星球群,获得通行密码 , 阅读全文

伯克利:神经网络学习能力的“第一性原理”探究

“数据驱动”的模型被数据限制,关键在于,它被如何限制? —— David 9

在上一期“具身智能”的诱惑中我们就提到,智能体不会是孤立的,他处于特定的环境中,他与环境交互并适应环境,塑造环境并与之交融。
同样,在一个数学系统中,有及其相似之处。伯克利最新的研究揭示了(或部分揭示了)神经网络泛化能力的第一性原理(A First-Principles Theory)
其研究大量依赖于NTK神经正切核的实验,曾经David也在星球中聊过正切核和无限宽网络,其本质上都是构建一个“核系统”,并找出一个“核回归”方法,
能够很好地近似真实分布 f

其中学习到的近似分布即:

K代表的核函数即系统中衡量元素直接距离的函数。

伯克利的研究人员指出这种学习系统就是典型的核回归方法,而核回归和NTK已经神经网络的关系如下:

进一步地,对于无限宽网络和核回归方法,其对称性和半正定的性质,使得我们总可以找到一组正交的特征向量,使得每一对特征值和特征向量都满足: 继续阅读伯克利:神经网络学习能力的“第一性原理”探究

展望2022 AI趋势,年底AI报告成果回顾 (持续更新)

2021AI状态报告不仅预测了2022的8个趋势,而且在学术研究、人才、工业界、政策战略等多个维度总结2021。

2021kaggle调查报告更多的是kaggle自己收集的一些机器学习和数据科学界的调研情况。

2021AI状态报告网站  (2021AI状态报告原文

2021kaggle调查报告网站 (2021kaggle机器学习和数据科学调查报告原文