分类： 前沿

对经验“抽样”的艺术：增强学习(RL)的底层逻辑线索，回顾与总结

人类是一个神奇的物种，他们竟然可以把过往经验和自身感知叠加在一起进行“抽样”，他们管这种行为叫做：“灵感”  — David 9

人对“时间”的感知似乎比其他动物都强，这也许导致我们对过往经历（或经验）的认识更加清晰。如果是神经网络的拥护者，可能会把类似RL增强学习“行为决策”的问题用类似“路径感知”的方法解释，即，我们的行为是对过往经历（经验）的感知后得出的。

无论这种直觉是否正确，发生在人类身上的“增强学习”有时还掺杂了许多自身其他复杂的感知：

毕加索的“朵拉·玛尔”肖像画

有人说毕加索的创作灵感许多来自超空间感知（五维空间？） 不可否认毕加索似乎是在用多只“眼睛”看世界，他的创作过程显然不是对经验“抽样”那么简单。

但对于纯AI领域的增强学习，更多是对经验“抽样”的艺术。之前David其实聊过策略学习的大体系（RL, IRL，DPL），今天，我们专注于讨论增强学习中的价值学习（Value Learning），这是透露RL底层逻辑的重要线索。

开启经验“抽样”旅程的第一步，是我们认识到除了IRL模仿学习，大多数增强学习，对于过往行为经验，都会给出回报（Reward）值。广义上任何行为都可以看做一种博弈游戏（game），而游戏的过程中总可以给出回报值（粗粒度或细粒度）。

以一个简单的路径游戏为例：

如果走到最右边的棕色悬崖扣一分-1，而如果走到蓝色框加两分（如左图+2分）。

如上图，现在摆在我们面前的看似只有两条实验路径（episode）。这是原始的蒙特卡罗法看到的抽样结果，这种抽样的偏见(bias)是明显的，它（智能体）今后会趋向选择“偏上”的路线，因为有一条+2的路线是靠上的。

事实上，我们抽样得到的不仅仅是2条路径 继续阅读对经验“抽样”的艺术：增强学习(RL)的底层逻辑线索，回顾与总结

回顾BERT优势与劣势：深入理解这些无监督怪兽，及其前景展望，GPT，BERT，VideoBERT

如果“你所能告诉我的，只是你想表达的十分之一”，那么“表达”和接受“表达”的效率，也许是智能重要组成之一  — David 9

我们知道目前的AI无法表达自己，甚至，连接受“表达”的能力也相当有限。在NLP（自然语言）领域比其他领域更滞后。从word2vec词向量到ELMo，再到2018年谷歌的BERT系列模型，深度神经网络在NLP领域中“半推半就”达到一个有共识的高度：

来自：https://www.analyticsvidhya.com/blog/2019/09/demystifying-bert-groundbreaking-nlp-framework/

即使经过这样一个漫长的过程，BERT系列模型还是需要在预定domain域上事先做大规模预训练，才能在下游任务上表现更好：

来自：https://towardsdatascience.com/a-review-of-bert-based-models-4ffdc0f15d58

“大规模预训练”，“更宽深层双向encoding”，“带MASK的无监督训练”，“注意力机制”，“fine-tuned模型”，对BERT有一些深入了解的朋友一定对以上这些词不陌生。是的这些是BERT训练要素。

但是BERT有效，是因为在目前大数据和算力的条件下，不得已只能使用这种方式超越前任算法。这种方式的好处很明显：

1. 多头的注意力机制和双向encoding让BERT的无监督训练更有效，并且使得BERT可以构造更宽的深度模型：

来自：https://towardsdatascience.com/deconstructing-bert-part-2-visualizing-the-inner-workings-of-attention-60a16d86b5c1

2. 把特定任务的模型fine-tune放到后面去做，增大整个模型的灵活性。如果你能拿到较好的预训练模型，甚至再用一个简单的logistic回归就能fine-tune出一个较好的任务模型。

3. BERT无监督(自监督)的预训练，给了其他连续型数据问题很多想象力。所谓连续型数据问题，指那些像语言，音频，视频等（如果任意删除其中一段，在语义上就显得不连贯）。这种数据结合BERT模型可以做一些有意思事情，如VideoBERT, 就是通过把字幕和视频拼接，作为一个新的连续型BERT模型（用来自动生成字幕）： 继续阅读回顾BERT优势与劣势：深入理解这些无监督怪兽，及其前景展望，GPT，BERT，VideoBERT

探究“网红科学家”眼中的”智能“：Keras作者François Chollet谈AI，以及David的一些想法

如果你的思考足够抽象，并赋予抽象非凡的意义，AI很难赶上你 — David 9

最近看的Keras作者François Chollet访谈，David我也是他的粉丝，

如果说特朗普是twitter治国的，也许他就是twitter治AI的了，下面这推就表示了他对目前AI学界的深深担忧😁😁😁：

是的，大多数深度学习论文本质上借助的是人类先验和人类智能对数据集的理解。

这无疑引出了本质问题，这位“网红”科学家对智能的看法究竟如何？我在这里总结了6个重点供大家讨论，

1. 所谓“智能大爆发”可能存在吗？NO！François认为首先，我们不能孤立地看待“智能”这个东西，它绝不是孤立在天空中的城堡：

所有我们已知的智能（包括人类智能）都是和这个世界的环境密切交互的，“智能”这个东西更像是集市中的信息交换，他的进展有很多不确定性，一个小市场，外围也许还有多个大市场，周围的环境也复杂多变：

我们人类智能之所以到现在这个阶段，除了为了适应生存生产活动，还要与其它物种竞争，以及一些运气的成分，才让我们变成现在看到的这种“智能”。所以，上下文很重要。

如果说有“超人类的智能大爆发”，那么这个“智能”是如何以这么快的速度适应周围环境和人类以及其他物种竞争的？如果一下子变成超人智能，它又是如何像爱因斯坦那样寻找一个宏大的问题的答案？至少从David的直觉，我赞同François。我认为这种突破是缓慢的信息交互的产物，不是可以“爆发”产生的，但可以缓慢到达某个阶段。

2. 智能是线性增长的。这也许是François最著名的论断，David之前就听过。 他的解释也很有意思，他不否认当一个产业兴起时，资源的分配是爆炸增长的，这就是我们在日常生活中的感觉（几十年前的互联网泡沫，工业革命，信息化革命，AI浪潮等等）。但是，科学本身的发展是线性的，下图是历年来物理学发展突破的评分图：

Data from Patrick Collison and Michael Nielsen

图中每10年的物理学发展程度，大都是平缓持平的，没有巨大波动。因此如果把人类总体的智慧做一个大智能体， 继续阅读探究“网红科学家”眼中的”智能“：Keras作者François Chollet谈AI，以及David的一些想法