分类： 学术

学习的第一要素从来都不是“模仿”或“收获知识”，学习要有“控制感” ！—  David 9

近来，研究人员似乎更加执着地认为，类似BERT, GPT等大型语言模型的训练方式也可以在视觉图像领域一展拳脚（pretrain+finetune）。

其中包括Image GPT 和 SimCLRv2 。当然照搬BERT，GPT到图像域是不可能的。这两个框架都采用各自独特的方法做(pretrain+finetune)稍后David将详细讲述两者区别。

David首先要强调的是，所有目前看来“先进的”算法（“预训练”，“自监督”甚至像GPT这样的大模型）都只是人们最大限度把自己的先验传导到模型，把最大自由度留给算力的过程。所以请允许我提一点猜想：

先验流(阻力)假设：人的先验传导到机器域是有阻力的。当模型能更高效率地传导人的先验，那么模型的学习效果就更好。— David 9

以这个假设，即使人类现在的模型架构原地踏步，只要人类的硬件和计算力在不断增强，训练数据不断增加，模型总能更高效地“吸收”人的先验。

扯远了，要真正提高“先验传导”，还是要从模型下手。

Google前不久的文章(Rethinking Pre-training and Self-training)就比较了“预训练”和“自监督”的优劣，直接说PK结果： 继续阅读“预训练”VS“自监督”，究竟哪个更“有脑”更高效？探究自监督最有效实践和方案，深入了解自监督学习David 9的番外篇#2

与其说人类是智能“搜索”机，不如说人类是智能“贪婪”机— David 9

在传统RL算法和外部环境之间又架了一层“好奇心”模块，模块返回的 是RL算法真正训练使用的回报。(并不直接使用环境回报r )。

继续阅读ICLR 2020论文精选：“好奇心”的本质探讨，元学习与增强学习(RL)的“好奇心”机制，好奇心算法搜索，智能体的适应力增强

如果“智能”是个体应对特定环境而被“诱导”出的，那么，个体的应对方式或作出假设的瞬间，也许是最有趣的部分！ — David 9

David曾经讨论过Keras之父对智能的看法，也谈论过Yann LeCun对智能的看法。前不久Keras之父发起的因果推理语料(ARC)的kaggle竞赛结束，进一步激励我总结一下对“智能”的新看法。

首先，几乎一致认可的是，“智能”不仅是一个个基于任务的技能的简单集合这么简单。如果是这样，无法解释人类在一生中会学习自己都无法预料一些技能，我们学习未知技能的灵活性总是超出自己的想象。

其次，人类智能也不是“通用智能”，这点François Chollet和Yann LeCun都提到了。如果人类智能是通用智能，那么无法解释人类根深蒂固不擅长的那些领域，如不擅长长期计划(跨域年的预测)，视觉有盲区，认知有偏差，计算缓存小（多位数相乘就可以把我们难倒）等等。

哪怕经过训练我们也不能像熟悉走路一样自然地掌握线性代数。

同时，没有免费午餐定理告诉我们，任何优化方法，在一些方面的优势，在另一些方面则是劣势。因此，存在一个凌驾所有智能的万能的“通用智能”的可能性不大。稍加思考你还能发现“智能”这个东西是脱离不了外部环境的，它是大自然的产物。

那么人类智能究竟是一种什么样的“智能”？

加入David9的星球群，获得通行密码 , 阅读全文