分类： 算法

DeepMind新型神经网络：可异步训练的深度网络！— “解耦神经网络” 与 “合成梯度”

如果深度学习不是神经网络的终点， 那么神经网络会跟随人类进化多久？ — David 9

自3年前Google收购DeepMind，这家来自英国伦敦的人工智能公司就一直站在神经网络与深度学习创新的风口浪尖（AlphaGo，DeepMind Health）。

今天要介绍的“解耦神经网络接口”（Decoupled Neural Interfaces）的异步网络，就是出自DeepMind之手。这篇2016发表的论文试图打破传统的前向传播和后向传播按部就班的训练过程。在传统神经网络, 整个过程是非异步的更新，更新也是逐层紧耦合的（图b）：

截自：https://arxiv.org/pdf/1608.05343.pdf
截自论文“Decoupled Neural Interfaces using Synthetic Gradients“：https://arxiv.org/pdf/1608.05343.pdf

图(b)是传统普通前馈反馈神经网络（黑色是前馈箭头，绿色是反馈箭头），fi 层到fi+1 层的权重矩阵由fi+1层的偏导反馈δi 更新， 众所周知，反馈δi 必须等到后向反馈从输出层传递到fi+1 层后才能计算出。

为了试图解除这种“锁”（强耦合）(图(c)(d))，在(c)图中我们注意到在fi 层和fi+1 层之间，引入了模型Mi+1（图中菱形），又称人工“合成梯度”模型，用来模拟当前需要的梯度反馈更新。 继续阅读DeepMind新型神经网络：可异步训练的深度网络！— “解耦神经网络” 与 “合成梯度”

#15 增强学习101 闪电入门 reinforcement-learning

是先用自己的”套路”边试边学, 还是把所有情况都考虑之后再总结, 这是一个问题 — David 9

David 9 本人并不提倡用外部视角或者”黑箱”来看待”智能”和”机器学习”.

正如《西部世界》迷宫的中心是自己的内心. 神经网络发展到目前的深度学习, 正是因为内部的结构发生了变化(自编码器, 受限玻尔兹曼机, 改进的激活函数, 等等…) . 所以David 9 相信神经网络未来的发展在于人类对内部结构的新认知, 一定有更美的内部结构存在 !

而今天所说的增强学习, 未来更可能作为辅助外围框架, 而不是”智能核心”存在. 不过作为闪电入门, 我们有必要学习这一流行理论:

来自: http://www.cis.upenn.edu/~cis519/fall2015/lectures/14_ReinforcementLearning.pdf

没错, 这张图和文章特色图片是一个思想:

训练实体(Agent)不断地采取行动(action), 之后转到下一个状态(State), 并且获得一个回报(reward), 从而进一步更新训练实体Agent. 继续阅读#15 增强学习101 闪电入门 reinforcement-learning

卡内基梅隆大学（CMU），那些经受住时间考验的机器学习论文–第二弹：动态主题模型

这一弹，接着上一期，这次，我们要解释一种典型的机器学习算法——动态主题模型（Dynamic Topic Model）。

概率主题模型和概率图模型是每个做文本挖掘的学者的必学课题。其中最常见的主题模型是隐含狄利克雷分布（LDA）。当然，本文的动态主题模型也是主题模型的一种，不过为了方便理解，我们还是来回顾一下LDA。

来自：https://en.wikipedia.org/wiki/Latent_Dirichlet_allocation
来自：https://en.wikipedia.org/wiki/Latent_Dirichlet_allocation

我们定义：

α 是狄利克雷先验的参数，是每个文档可能的主题分布。

\theta _{m}，当α 落实到一个文档m，\theta _{m}是文档m的主题模型。而且α代表的是狄利克雷分布，\theta _{m}代表的是多项式分布。 α很明显是\theta _{m}的共轭先验。

β 是狄利克雷先验的参数，但是，它是每个主题可能的文字分布。

{\displaystyle z_{mn}} 是在文档m中，第n个文字的主题。 继续阅读卡内基梅隆大学（CMU），那些经受住时间考验的机器学习论文–第二弹：动态主题模型