谈谈谷歌的免训练网络(早熟模型)及其前景,David9的神经网络观察,WANN(Weight Agnostic Neural Networks)

如在某方面过于早熟,是否可能阻碍更高级的智能发展? — David 9

对于早熟(precocial)动物我们并不陌生,一匹小马在出生几小时以内就可以自我站立走路:

自然选择使得这种物种特别偏爱这样一个技能:“跑”,甚至在出生后不需要怎么训练就能快速学会。那么神经网络是否也可以实现免训练(早熟模型)呢?谷歌这篇论文给出的答案是肯定的。

更有意思的是,这篇权重不可知网络WANN(Weight Agnostic Neural Networks)类似的也适用于小马走路这种简单的行为任务,包括模拟直立前进赛车小游戏

来自:https://arxiv.org/abs/1906.04358

与现有神经网络迥然不同,整个WANN网络从最简单的几条连接开始构造,仅通过拓扑搜索而不通过权重训练(权重通过设定超参数,由此,从一个分布中随机拿到),为了最小化权重的影响力,  挑选了那些对多数权重都表现较好的拓扑作为候选拓扑(有些遗传算法的思想在里面):

来自:https://arxiv.org/abs/1906.04358

谷歌开了个好头因为常人太在乎权重训练了,把注意力移到拓扑搜索上来,也许有新的发展。

但是,神经网络拓扑的搜索空间较大,研究人员只采取了一些常见的激活函数(sin , ReLU, tanh等)组合方式(没有卷积, pooling等复杂操作),  

...阅读更多...加入David9的星球群阅读所有文章:

加入David9的星球群,获得通行密码 , 阅读全文

发布者

David 9

邮箱:yanchao727@gmail.com 微信: david9ml

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注