月度归档： 2019 年 9 月

如在某方面过于早熟，是否可能阻碍更高级的智能发展？ — David 9

对于早熟（precocial）动物我们并不陌生，一匹小马在出生几小时以内就可以自我站立走路：

自然选择使得这种物种特别偏爱这样一个技能：“跑”，甚至在出生后不需要怎么训练就能快速学会。那么神经网络是否也可以实现免训练（早熟模型）呢？谷歌这篇论文给出的答案是肯定的。

更有意思的是，这篇权重不可知网络WANN（Weight Agnostic Neural Networks）类似的也适用于小马走路这种简单的行为任务，包括模拟直立前进和赛车小游戏：

来自：https://arxiv.org/abs/1906.04358

与现有神经网络迥然不同，整个WANN网络从最简单的几条连接开始构造，仅通过拓扑搜索而不通过权重训练（权重通过设定超参数，由此，从一个分布中随机拿到），为了最小化权重的影响力，  挑选了那些对多数权重都表现较好的拓扑作为候选拓扑（有些遗传算法的思想在里面）：

谷歌开了个好头因为常人太在乎权重训练了，把注意力移到拓扑搜索上来，也许有新的发展。

但是，神经网络拓扑的搜索空间较大， 继续阅读谈谈谷歌的免训练网络(早熟模型)及其前景，David9的神经网络观察，WANN(Weight Agnostic Neural Networks)

作为一个物种，人类智能（human intelligence）正在向通用智能(general intelligence)的方向发展，不是吗？— David 9

最近看到Yann LeCun 的播客访谈，聊到人类智能，LeCun认为人类智能是非常specific的（具体的而远非“通用智能”）：

是的，为了在大自然长期生存下来，我们的祖先更关心与生存密切相关的东西。我们的视觉有盲区，行为有太多模式，我们的内在“世界模型”也不“通用”（general）。

人类经常以为自己能应对世界的复杂变化，这只是他们一厢情愿的世界观，事实上，多数情况他们只能勉强应对（在自己构建的“世界模型”的舒适区）。

但这，足以支撑普通人的正常生存（即使他们用自以为用完整通用的智能应对一切）, 原始人主要任务是擅长打猎就行(其他的复杂因素如天气可以用“神”来补充世界观):

工业时代为了生存，人类甚至可能沦为机器的奴隶：

所以，

与其说人类是通用智能，不如说我们是基于生存的智能 — David 9

David同意人类的局限是明显的，但借助外部工具如AI，人类正在变得越来越general，看到很多看不到的东西，这种人与机器的“互补智能”是未来不可估量的（有机会下次展开）。拉回到主题: 

人类智能本身, 其实也有一个秘密武器：”自监督”学习。

那么究竟什么是自监督？

首先，自监督是有监督学习！哪怕目前缺少有标注的samples，他也会想办法加上一些假的（pseudo）label ，或者用其他间接的方式得到比较可信的label。其次， 继续阅读【独家】深入了解自监督学习(self-supervised learning)，David 9的番外篇