伯克利:神经网络学习能力的“第一性原理”探究

“数据驱动”的模型被数据限制,关键在于,它被如何限制? —— David 9

在上一期“具身智能”的诱惑中我们就提到,智能体不会是孤立的,他处于特定的环境中,他与环境交互并适应环境,塑造环境并与之交融。
同样,在一个数学系统中,有及其相似之处。伯克利最新的研究揭示了(或部分揭示了)神经网络泛化能力的第一性原理(A First-Principles Theory)
其研究大量依赖于NTK神经正切核的实验,曾经David也在星球中聊过正切核和无限宽网络,其本质上都是构建一个“核系统”,并找出一个“核回归”方法,
能够很好地近似真实分布 f

其中学习到的近似分布即:

K代表的核函数即系统中衡量元素直接距离的函数。

伯克利的研究人员指出这种学习系统就是典型的核回归方法,而核回归和NTK已经神经网络的关系如下:

进一步地,对于无限宽网络和核回归方法,其对称性和半正定的性质,使得我们总可以找到一组正交的特征向量,使得每一对特征值和特征向量都满足: 继续阅读伯克利:神经网络学习能力的“第一性原理”探究

#感知融合第2弹:单网络处理任意模态数据的时代正在临近,强数据控制,蓄水池计算,全局工作区理论与自注意力机制

强人工智能(类人智能)可能比较遥远,但强数据控制智能已经临近 —— David 9

在上次感知融合中我们谈到,“肤浅感知”跳过了“理解” 这一步,不过,“肤浅感知”相当有效,以至于传统神经网络(CNN, RNN, BERT)可以直截了当地堆加融合数据(同态或多模态)。但是,很快人们就将发现问题:

1. “肤浅感知”模型太关注模型本身的优化,如特殊loss或特殊的优化器,而模型和当前数据集及任务是强相关的,这缺乏对数据的灵活控制和鲁棒性。

2. 正如阿德南曾在是人类水平的智能,还是动物般的智能中表达的,神经网络近年来在构造精巧的函数上是成功的,但进一步可以相信更精巧的函数还会出现,因为目前“动物智能”模型的精巧程度依旧比不上 动物。

更重要的是,也许我们低估了低等智能背后的普适性,越低等智能(感知),对于“外设”和输入数据越是鲁棒。如,盲人的听觉可以比常人好得多,跛脚的动物可以很快适应新的走路方式,我们用一只眼也可以很快地适应生活甚至做得更好,

低等感知需要做的是让输入信息更高效地流入自身的感知系统,并适应周围环境,这时的关键词是“快”,而不是“好”“为什么”,只有人类才会在感知后还会有其他反思。

这就是为什么值得相信,目前的人工感知模型(cnn, transformers)在灵活性层面 继续阅读#感知融合第2弹:单网络处理任意模态数据的时代正在临近,强数据控制,蓄水池计算,全局工作区理论与自注意力机制

尝试回答“智能是什么?”:聊聊“知识涌现”,“常识生成“,“智能诱导”,“流体智能”,“结晶智能”

人类的痛苦源于“感知”,机器的痛苦源于“无法感知” —— David 9

“智能究竟是什么?”每个人都有自己的答案,每个人都没有确定的答案。今天david首次尝试梳理自己的答案,不成熟但值得沉淀。

从最原始的感知说起。有人认为神经网络或深度学习实现了机器“感知”的过程,这是错误的,

第一,上次提到“肤浅感知”和“深度感知”,目前的视觉(语言)模型没有赋予对象任何意义,“一个苹果”是什么?对模型来说只是一个标签。第二,人类能通过视觉调动“苹果”的味觉(触觉)等感受,这种感受在人类产生语言之前就存在了,而机器智能没有这种“综合体验”。实际是,仅仅是味觉一项感觉,就可以被其他五官所影响

感知的灵活性在人类身上得到很好的体现,而人类也有很明显的缺陷,他们一辈子在学习概念和知识,并且被感知所困扰;但机器则相反,它们可能天生有(存储)概念和知识,却一辈子在学习灵活性。所以,人类是“灵活感知”,“交流联系”的智能,是“感知密集型”智能,而,如果真的有机器可以达到人类相当的认知水平,他们非常可能是“知识搜索”,“概念推理”,的“计算密集型”智能。

那么如果引导机器进行更多的感知,就能诱导出更高级智能吗?前不久热议的论文“Reward is enough”认为,只要“奖赏”足够,智能体就自己可以学习到各种不同的任务(语言,模仿,感知)等,这种想法是有问题的。

首先,如果有奖赏就能“诱导”出智能,为什么细菌或者其他动物没有进化出人类的智能?在地球上,繁衍是物种最大的奖赏之一,细菌不断自我复制,获得了很大程度的成功(奖赏),但这算智能或高级智能吗??

DNA复制图例

其次,他低估了环境对智能的影响,奖励是环境的一部分,甚至智能体本身也是环境的一部分。他并没有回答奖励如何产生,环境如何构造,才能诱导出更高智能体。 继续阅读尝试回答“智能是什么?”:聊聊“知识涌现”,“常识生成“,“智能诱导”,“流体智能”,“结晶智能”