如在某方面过于早熟,是否可能阻碍更高级的智能发展? — David 9
对于早熟(precocial)动物我们并不陌生,一匹小马在出生几小时以内就可以自我站立走路:
自然选择使得这种物种特别偏爱这样一个技能:“跑”,甚至在出生后不需要怎么训练就能快速学会。那么神经网络是否也可以实现免训练(早熟模型)呢?谷歌这篇论文给出的答案是肯定的。
更有意思的是,这篇权重不可知网络WANN(Weight Agnostic Neural Networks)类似的也适用于小马走路这种简单的行为任务,包括模拟直立前进和赛车小游戏:
来自:https://arxiv.org/abs/1906.04358
与现有神经网络迥然不同,整个WANN网络从最简单的几条连接开始构造,仅通过拓扑搜索而不通过权重训练(权重通过设定超参数,由此,从一个分布中随机拿到),为了最小化权重的影响力, 挑选了那些对多数权重都表现较好的拓扑作为候选拓扑(有些遗传算法的思想在里面):
谷歌开了个好头因为常人太在乎权重训练了,把注意力移到拓扑搜索上来,也许有新的发展。
但是,神经网络拓扑的搜索空间较大,研究人员只采取了一些常见的激活函数(sin , ReLU, tanh等)组合方式(没有卷积, pooling等复杂操作),
加入David9的星球群,获得通行密码 , 阅读全文