编程世界也有“要塞”(或“中枢”)，就是那些每个人都要用，而每个人都想个性化定制，每个人又都不得不参与协商并遵守的那些“协议” —— David 9
人类的合作有些神奇，起初是懒惰(或贪婪)使用别人已造好的基础工具，然后越来越多人使用，人们的精力转而投入到这个工具的标准上，因为他们都想用这个基础工具造自己的工具，而不是再造一个差不多的标准。 Numpy近15年的发展就很类似。前不久Numpy论文登上Nature。Numpy已经俨然不是当初普通的数组计算库这么简单了，而是维护了一个高维编程世界的通用协议，以及处理高维数组的一些公认思路：
注意力机制看似对符号化学习(或人类智能的产生)是“隔靴瘙痒”，但从另一面说，也可能是一个基石 — David 9
熟悉David读者知道我对真正的智能(或类人智能)的产生感兴趣，当今，普遍的共识是截然相反的两种路径(方式)：
1. 自上而下。构造一个本身在语义和逻辑上就有意义的系统，在这个系统下构建各个组件，随着组件的趋于完备(完美)，也就达到了类人等级的智能。
2. 自下而上。先从混沌的初级结构开始构建(类似神经网络的一层网络)，慢慢构建复杂的结构，在上层慢慢“长”出意识(或智能)。
由于目前神经网络(深度网络)的浪潮，后一种声音占了多数。
但显然，David可以想象出神经网络风光不再的场景，比如到了某个阶段，人类矩阵算力(GPU)不再昂贵, 组合各种神经网络变得非常简单，同时人们又想要更多有意义的结果，那时，“拼装组合”成了主旋律，人们对神经网络内部结构已经不感兴趣。也可能，那时的神经网络已经可以自动“生长”，无需人去构建。就像我们以前在“谷歌的免训练网络”中谈到的：
回到GPT3, David其实不赞同一些网友总结GPT3的意义。
是因为1750亿参数并使用了45TB数据吗？我相信以后还会有更多更大的网络出现。
是因为用更少的领域数据，解决对领域内有标签数据的过分依赖吗？论文在相关工作中指出，元学习(Metalearning)和迁移学习都在这个方向上曾作出过努力。
仅仅因为用了较大网络达到较好(无监督)效果，就值得GPT3骄傲吗？我觉得也不是。
请读者细品一下论文的大标题：“Language Models are Few-Shot Learners”
这告诉我们OpenAI团队的两点洞见： 继续阅读GPT3无疑是一个进步，但很多人抓错了重点：对伪常识，伪逻辑和因果推理未来的一些思考
学习的第一要素从来都不是“模仿”或“收获知识”，学习要有“控制感” ！— David 9
近来，研究人员似乎更加执着地认为，类似BERT, GPT等大型语言模型的训练方式也可以在视觉图像领域一展拳脚（pretrain+finetune）。
其中包括Image GPT 和 SimCLRv2 。当然照搬BERT，GPT到图像域是不可能的。这两个框架都采用各自独特的方法做(pretrain+finetune)稍后David将详细讲述两者区别。
David首先要强调的是，所有目前看来“先进的”算法（“预训练”，“自监督”甚至像GPT这样的大模型）都只是人们最大限度把自己的先验传导到模型，把最大自由度留给算力的过程。所以请允许我提一点猜想：
先验流(阻力)假设：人的先验传导到机器域是有阻力的。当模型能更高效率地传导人的先验，那么模型的学习效果就更好。— David 9
以这个假设，即使人类现在的模型架构原地踏步，只要人类的硬件和计算力在不断增强，训练数据不断增加，模型总能更高效地“吸收”人的先验。
扯远了，要真正提高“先验传导”，还是要从模型下手。
Google前不久的文章(Rethinking Pre-training and Self-training)就比较了“预训练”和“自监督”的优劣，直接说PK结果： 继续阅读“预训练”VS“自监督”，究竟哪个更“有脑”更高效？探究自监督最有效实践和方案，深入了解自监督学习David 9的番外篇#2
