标签： 神经网络

如果人脑在执行任务时有特定模式，那么神经网络在增强学习中也应该有特定模式，而不是杂乱无章地更新 — David 9

我们在之前的文章中讨论过，Evolution Strategy和遗传算法等传统算法都可以在深度增强学习中发挥作用。其实，人们早就在神经网络中植入各种传统机器学习的方法（包括L2正则法等等）。

在2015年google的论文中就提到结合变分推断（variational inference）启发式更新神经网络的内部参数：

其性能效果堪比dropout方法，并且在增强学习中有较好表现。

那么，贝叶斯深度学习或者说变分推断（variational inference）如何应用在神经网络呢？

理论上，对于一般的深度神经网络，Loss如下：

θ 是神经网络的内部参数集。xi, yi 即样本集中的一个样本。上式只是让训练损失最小。

即，要找到一个最好的 θ* ，让  Lⁿ(θ) 最小。 继续阅读当变分推断（variational inference）遇上神经网络，贝叶斯深度学习以及Pytorch开源代码