脉冲神经网络(SNN)会是下一代神经网络吗? 知识梳理和源码解析,David 9的SNN初体验,Spiking Neural Network

Neurons that fire together wire together — Donald O. Hebb

小时候你们应该听大人说过:“脑子不用会生锈”,教导我们要多思考多练习。后来我们真的发现需要肌肉记忆的运动如篮球、高尔夫,所谓的“球感”,正应验了赫布理论那句老话:“Neurons that fire together wire together”。我们的那些神经元似乎越是频繁地连接,越是有“存在感”。甚至在训练足够多的次数后,神经元的连接如此强烈,以至于产生了条件反射。

另一方面我们的神经元可以训练并适应不同的任务,其可塑性惊人。当今所谓的神经网络不过皮毛。

今天聊的脉冲神经网络(SNN),只是弥补了神经网络中的一处不足。我们在之前的post提到过Hinton老爷子对未来神经网络的展望,其中一个重点就是目前神经网络的时间线(尺度)太少了

开始之前,先简单回顾一下神经网络的发展。

感知机(perceptron),是神经元间的直连感知

来自:https://www.youtube.com/watch?v=3JQ3hYko51Y

其中白色较亮的点是被激活(更兴奋)的神经元。

对于多层感知机,只是层数变多了,依旧是直连加反向传播

来自:https://www.youtube.com/watch?v=3JQ3hYko51Y

轮到现在流行的CNN, 只是比感知机多了卷积层:

来自:https://www.youtube.com/watch?v=3JQ3hYko51Y

到目前为止可以发现,所有连接权重的更新速度是一样的。即所有神经元的连接,在某个时间点的兴奋度低,但在下一个时间点的兴奋度可能很高!(因为反向传播才不管这么多),细想,不符合那句老话:“Neurons that fire together wire together”。此刻兴奋的神经元在下一时刻应该惯性地也比较兴奋才对

这就引出了脉冲神经网络(SNN)的想法,神经元兴奋度不应该是一瞬间更新的,而是慢慢衰减的,衰减的过程中有机会向更深的网络激活兴奋区,最后,激活的兴奋区才是最后的预测判别结果:

来自:https://www.youtube.com/watch?v=3JQ3hYko51Y

事实上,David认为脉冲神经网络(SNN)更是对目前神经网络时间尺度单一的不满。一些神经科学家已经指出,

...阅读更多...加入David9的星球群阅读所有文章:

加入David9的星球群,获得通行密码 , 阅读全文

发布者

David 9

邮箱:yanchao727@gmail.com 微信: david9ml

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注