分类： 前沿

正确的废话总是令人讨厌，如果，正确的废话再具体一点？或选个好角度再具体一点呢？—— David 9

科学界有这样一些论文题目，看起来有点意思，请允许David列出一些：

• “Transformers are Graph Neural Networks”
• “Deep Neural Networks as Gaussian Processes”
• “Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention”
• “Wide Feedforward or Recurrent Neural Networks of Any Architecture are Gaussian Processes”

一些研究人员大胆地指出：A其实就是B！这就像告诉我们，“天上的云其实就是水分子，光其实也是一种波，妈妈唠叨其实是为了关心你”。看起来似乎都是正确的废话。但是有两点值得注意：

1. 这至少可以帮你换个角度解释世界。

2. A其实就是B，是说A被B包含，即A⊆B，说明，B的解释范围比A大（得多）， 继续阅读为什么说Transformer模型甚至神经网络的“颠覆”会更早到来？以及神经网络的“表达力”并非真正的“壁垒”？

注意力机制看似对符号化学习(或人类智能的产生)是“隔靴瘙痒”，但从另一面说，也可能是一个基石 — David 9

熟悉David读者知道我对真正的智能(或类人智能)的产生感兴趣，当今，普遍的共识是截然相反的两种路径(方式)：

1. 自上而下。构造一个本身在语义和逻辑上就有意义的系统，在这个系统下构建各个组件，随着组件的趋于完备(完美)，也就达到了类人等级的智能。

2. 自下而上。先从混沌的初级结构开始构建(类似神经网络的一层网络)，慢慢构建复杂的结构，在上层慢慢“长”出意识(或智能)。

由于目前神经网络(深度网络)的浪潮，后一种声音占了多数。

但显然，David可以想象出神经网络风光不再的场景，比如到了某个阶段，人类矩阵算力(GPU)不再昂贵, 组合各种神经网络变得非常简单，同时人们又想要更多有意义的结果，那时，“拼装组合”成了主旋律，人们对神经网络内部结构已经不感兴趣。也可能，那时的神经网络已经可以自动“生长”，无需人去构建。就像我们以前在“谷歌的免训练网络”中谈到的：

回到GPT3, David其实不赞同一些网友总结GPT3的意义。

是因为1750亿参数并使用了45TB数据吗？我相信以后还会有更多更大的网络出现。

是因为用更少的领域数据，解决对领域内有标签数据的过分依赖吗？论文在相关工作中指出，元学习(Metalearning)和迁移学习都在这个方向上曾作出过努力。

仅仅因为用了较大网络达到较好(无监督)效果，就值得GPT3骄傲吗？我觉得也不是。

请读者细品一下论文的大标题：“Language Models are Few-Shot Learners”

这告诉我们OpenAI团队的两点洞见： 继续阅读GPT3无疑是一个进步，但很多人抓错了重点：对伪常识，伪逻辑和因果推理未来的一些思考

不存在纯粹的无监督，那些较“高明”的无监督往往需要对先验做“高明”的处理 — David 9

接着之前的自监督系列，先回顾一下david对自监督的广义概括：

自监督是在已有信息基础上，挖掘额外信息，并进一步强化和丰富已有信息的过程　— David 9

总的来说，“自监督”是有监督学习，并且是半监督的，之所以不直接叫做半监督，是因为它不是简单无监督和有监督拼凑（当然也有营销成分），它用各种“更高明的”（包含人类先验的）方式利用大量无标签的样本，自我强化和丰富已有的有标签样本模型。

这里的“更高明的”方法总结有两种：

1. 利用更复杂的（加入人类先验的）loss。david之前谈到的InfoMax模型就是典型例子。

2. 利用大量“数据增强”方法训练模型。注意这也是加入人类先验的（数据增强方法不能随意选择）。

我们今天要谈的是第二种方法。即：“数据增强式”自监督。

下面是前阵子Google两篇曝光度较高的两篇文章，都用到了这种“数据增强式”自监督：

加入David9的星球群，获得通行密码 , 阅读全文