NLP Archives | David 9的博客 --- 不怕"过拟合"

ICLR2021【lambda神经网络】Transformer模型虽被改得面目全非，看似的“颠覆”更多是“侵蚀”，#局部注意力和特征提取

也许技术也存在“明斯基时刻”，

当那些“侵蚀”变为“颠覆”——David 9

因为人类是“感知”(欠理性)的动物，所以那些用“思潮”的力量影响(或鼓动)别人的人，也许才是最“可怕”的，其中也包括技术浪潮，神经网络和Transformer并没有那么神奇，但它们就像雪山顶上最高的那团雪球，却越滚越大，把周围的雪吸拢进来。

多数创新，是之前无数的“侵蚀”和修改积累而来的，但是就是有一些“颠覆”的创新，让你相信一切可以从头开始，一切变得会很不一样！但其实，我们也许只是达到另一个阶段而已。

就像许多论文喜欢杜撰一个“不一样”的名字，比如今天聊的“lambda神经网络”，目前在ICLR2021预审中表现不错，让我们看看它有什么“不一样”，

就David的观察和ykilcher的视频分析，lambda神经网络是对注意力机制的完善改进之一，而不是“颠覆”性的，但其中聪明的技巧值得我们学习，我就ykilcher的视频分析展开讨论：

首先，目前现有的Transformer改进都是基于原有的短板（长序列难支持，计算量大，速度慢等）的改进。lambda神经网络也不例外，

众所周知，注意力机制(Transformer的核心)，直白说，是把一组序列，映射到另一组序列，而中间的矩阵，就是负责映射(包含权重)的注意力矩阵：

如果“你所能告诉我的，只是你想表达的十分之一”，那么“表达”和接受“表达”的效率，也许是智能重要组成之一 — David 9

我们知道目前的AI无法表达自己，甚至，连接受“表达”的能力也相当有限。在NLP（自然语言）领域比其他领域更滞后。从word2vec词向量到ELMo，再到2018年谷歌的BERT系列模型，深度神经网络在NLP领域中“半推半就”达到一个有共识的高度：

即使经过这样一个漫长的过程，BERT系列模型还是需要在预定domain域上事先做大规模预训练，才能在下游任务上表现更好：

“大规模预训练”，“更宽深层双向encoding”，“带MASK的无监督训练”，“注意力机制”，“fine-tuned模型”，对BERT有一些深入了解的朋友一定对以上这些词不陌生。是的这些是BERT训练要素。

但是BERT有效，是因为在目前大数据和算力的条件下，不得已只能使用这种方式超越前任算法。这种方式的好处很明显：

1. 多头的注意力机制和双向encoding让BERT的无监督训练更有效，并且使得BERT可以构造更宽的深度模型：

2. 把特定任务的模型fine-tune放到后面去做，增大整个模型的灵活性。如果你能拿到较好的预训练模型，甚至再用一个简单的logistic回归就能fine-tune出一个较好的任务模型。

3. BERT无监督(自监督)的预训练，给了其他连续型数据问题很多想象力。所谓连续型数据问题，指那些像语言，音频，视频等（如果任意删除其中一段，在语义上就显得不连贯）。这种数据结合BERT模型可以做一些有意思事情，如VideoBERT, 就是通过把字幕和视频拼接，作为一个新的连续型BERT模型（用来自动生成字幕）：继续阅读回顾BERT优势与劣势：深入理解这些无监督怪兽，及其前景展望，GPT，BERT，VideoBERT

看似庞大复杂的工程都来自一个简单的愿望 — David 9

人一生的行为往往由一个简单（但看似虚无）的意义驱动，而机器模型的行为由很多具体任务（实际的loss函数）驱动。于是，有的人为了“爱”可以苦费心思建成辉宏的泰姬陵 ; 而深度学习模型在不同任务间切换都如此困难。

幸运的是，多数人的愿望是AI朝着更通用（非具体）的方向发展。所以我们可期待更通用AI模型的出现。甚至David期待将来“域”通用模型的出现，这里的domain指的至少是人体五官胜任的所有任务（视觉域，语言域，音频域，触觉域，嗅觉域等）

拉回现实，OpenAI在语言域的GPT（GPT-2）和音频域的MuseNet模型已经取得了广泛关注。对于通用语言模型的探索，GPT早已不是先例：

从汲取上下文关系的CoVe词向量（有监督，任务单一），到无监督预训练并且多任务通用的GPT-2 ， 单模型“通用”的能力正在不断增强。