分类： 前沿

端到端基于模型的GAIL对抗模仿学习，Model-based GAIL，David 9的填坑贴

嘿，你这个叫GAIL小家伙，跟着大人学的时候，自己也要看看下一步— David 9

接着上次的GAIL讨论（GAN+增强学习），我们还有一个坑未填。即，基于模型的GAIL对抗模仿学习。首先回顾一下强化学习的简单体系：

1. 如果RL（强化学习）训练中给出回报（reward），其算法有我们熟悉的价值迭代value iteration算法和策略policy iteration算法，以及DPL（Direct Policy Learning假设一个policy）。

2. 如果没有明确回报（reward）给出，就涉及到更有意思的模仿学习IRL（Inverse Reinforcement Learning）。 一个实际的例子就是上次聊到的GAIL算法，简单说是假设回报函数，用GAN去识别目前的策略是否符合假设的回报函数（应有的策略）：

来自论文：http://proceedings.mlr.press/v70/baram17a/baram17a.pdf

此处GAIL就产生一个问题，如上图，GAN的判别器D可以判别生成器的策略和被模仿对象（专家策略）之间的区别，但是，当把行为错误δa反向传播时，只能估算一个大概的梯度δHV 给生成器（往往不稳定并且高方差的）。这就导致一个很明显的漏洞，这个判别器D只能根据当前的行为a、被模仿者的状态x1和模仿者的状态x2做判别，如果模仿者和被模仿者像下面这样：

继续阅读端到端基于模型的GAIL对抗模仿学习，Model-based GAIL，David 9的填坑贴

GAN+增强学习, 从IRL和模仿学习, 聊到TRPO算法和GAIL框架, David 9来自读者的探讨，策略学习算法填坑与挖坑

如果你想成为大师，是先理解大师做法的底层思路，再自己根据这些底层思路采取行动？　还是先模仿大师行为，再慢慢推敲大师的底层思路？或许本质上，两种方法是一样的。 — David 9

聊到强人工智能，许多人无疑会提到RL (增强学习) 。事实上，RL和MDP(马尔科夫决策过程) 都可以归为策略学习算法的范畴，而策略学习的大家庭远远不只有RL和MDP：

来自：https://www.slideshare.net/samchoi7/recent-trends-in-neural-net-policy-learning

我们熟知的RL是给出行为reward（回报）的，最常见的两种RL如下：

1. 可以先假设一个价值函数（value function）然后不断通过reward来学习更新使得这个价值函数收敛。价值迭代value iteration算法和策略policy iteration算法就是其中两个算法（参考：what-is-the-difference-between-value-iteration-and-policy-iteration）。之前David 9也提到过价值迭代：NIPS 2016论文精选#1—Value Iteration Networks 价值迭代网络） 继续阅读GAN+增强学习, 从IRL和模仿学习, 聊到TRPO算法和GAIL框架, David 9来自读者的探讨，策略学习算法填坑与挖坑

聊聊目标检测中的多尺度检测（Multi-Scale），从YOLO，ssd到FPN，SNIPER，SSD填坑贴和极大极小目标识别

狙击手在放大倍焦前已经经历了大量的小目标训练，这样看似乎是RPN做的好 — David 9

之前在讲SSD时我们聊过SSD的目标检测是如何提高多尺度（较大或较小）物体检测率的。我们来回顾一下，首先，较大的卷积窗口可以卷积后看到较大的物体, 反之只能看到较小的图片. 想象用1*1的最小卷积窗口, 最后卷积的图片粒度和输入图片粒度一模一样. 但是如果用图片长*宽 的卷积窗口, 只能编码出一个大粒度的输出特征.

对于yolov1，每层使用同样大小的卷积窗口, 识别超大物体或者超小物体就变得无能为力（最后一层的输出特征图是固定7*7）:

YOLO架构示意图

而SSD就更进一步，最后一层的检测是由之前多个尺度（Multi-Scale）的特征图共同生成的：

SSD架构示意图

这样SSD在计算复杂度允许的情况下，在多尺度物体的检测上有所提高。但是SSD也有明显缺陷，其最后几层的所谓“多尺度”是有限的（如上图特征图尺寸越小，可以识别的物体越大）。对于极小的目标识别，SSD就显得无能为力了， 继续阅读聊聊目标检测中的多尺度检测（Multi-Scale），从YOLO，ssd到FPN，SNIPER，SSD填坑贴和极大极小目标识别