人类日常行为中自觉或不自觉地总结抽象的”套路”, 以便将来在相同的情况下使用. 分层的增强学习正是研究了在较高的抽象任务中, 应该如何看待以前总结的”套路”, 并且如何在较低层的行为中使用它们. — David 9
正如我们之前提到过, 深度神经网络的迅速发展, 不会阻碍类似增强学习这样的高层学习框架发展, 而是会成为高层框架的重要底层支撑.
今年ICML最佳论文提名中的一篇(Modular Multitask Reinforcement Learning with Policy Sketches), 正是属于分层增强学习: 用”策略草稿“进行模块化的多任务增强学习.
说的通俗一点, 就是教会神经网络学习在各个不同的任务中总结通用的”套路”（或者说策略草稿，行为序列）:
上图左右两图, 分别代表两个高层任务(“制作木板”(make planks) 和 “制作木棍”(make sticks)). 事实上, 这两个高层任务的完成, 都需要一个子策略π1的必要条件, 即 : 我们需要首先拿到木材 ! 继续阅读ICML 2017论文精选#2 用”策略草稿”进行模块化的多任务增强学习
无论是机器学习还是人类学习，似乎一个永恒的问题摆在外部指导者的面前：“我究竟做错了什么使得它（他）的学习效果不理想？” — David 9
之前我们提到过，端到端学习是未来机器学习的重要趋势。
可以想象在不久的将来，一切机器学习模型可以精妙到酷似一个“黑盒”，大多数情况下，用户不再需要辛苦地调整超参数，选择损失函数，尝试各种模型架构，而是像老师指导学生一样，越来越关注这样一个问题：我究竟做错了什么使得它的学习效果不理想？是我的训练数据哪里给的不对？
今年来自斯坦福的ICML最佳论文正是围绕这一主题，用影响函数（influence functions）来理解机器模型这一“黑盒”的行为，洞察每个训练样本对模型预测结果的影响。
文章开篇结合影响函数给出单个训练样本 z 对所有模型参数 θ 的影响程度 I 的计算:
其中 ε 是样本 z 相对于其他训练样本的权重, 如果有 n 个样本就可以理解为 1/n 。
是Hessian二阶偏导矩阵, 蕴含所有训练样本(总共 n 个)对模型参数θ 的影响情况.
而梯度
蕴含单个训练样本 z 对模型参数 θ 的影响大小. 继续阅读ICML 2017论文精选#1 用影响函数(Influence Functions)理解机器学习中的黑盒预测（Best paper award 最佳论文奖@斯坦福）
如果深度学习不是神经网络的终点， 那么神经网络会跟随人类进化多久？ — David 9
自3年前Google收购DeepMind，这家来自英国伦敦的人工智能公司就一直站在神经网络与深度学习创新的风口浪尖（AlphaGo，DeepMind Health）。
今天要介绍的“解耦神经网络接口”（Decoupled Neural Interfaces）的异步网络，就是出自DeepMind之手。这篇2016发表的论文试图打破传统的前向传播和后向传播按部就班的训练过程。在传统神经网络, 整个过程是非异步的更新，更新也是逐层紧耦合的（图b）：
图(b)是传统普通前馈反馈神经网络（黑色是前馈箭头，绿色是反馈箭头），fi 层到fi+1 层的权重矩阵由fi+1层的偏导反馈δi 更新， 众所周知，反馈δi 必须等到后向反馈从输出层传递到fi+1 层后才能计算出。
为了试图解除这种“锁”（强耦合）(图(c)(d))，在(c)图中我们注意到在fi 层和fi+1 层之间，引入了模型Mi+1（图中菱形），又称人工“合成梯度”模型，用来模拟当前需要的梯度反馈更新。 继续阅读DeepMind新型神经网络：可异步训练的深度网络！— “解耦神经网络” 与 “合成梯度”
