月度归档： 2020 年 6 月

ICLR 2020论文精选：“好奇心”的本质探讨，元学习与增强学习(RL)的“好奇心”机制，好奇心算法搜索，智能体的适应力增强

与其说人类是智能“搜索”机，不如说人类是智能“贪婪”机— David 9
David最近在思考一个问题，表面上看所有智能问题都是“搜索”问题，包括今天我们讨论“好奇心”本质，也可以理解为对“好奇心”算法的搜索。
但是，人类仅仅是一台高级一点的“搜索机”吗？或者说除了“搜索”，“智能”(灵性)是否必须有一些其他重要属性比如“抽象能力”，“信息组织能力” ？换句话，仅仅用显式“搜索”构建的“智能”是不是“伪智能”？
事实上，今天我们探讨的这篇MIT在ICLR 2020的论文，就是这样一种“搜索”出来的“好奇心”。但是，这已经是当今一群聪明人可以设计的较好的“好奇心”机制了。
毫无疑问，好奇心是智能体主动探索外部环境，获取有用经验的驱动力。
在内部，MIT研究人员把“好奇心”设计为一种“代理回报”（proxy rewards）的机制:
来自：https://arxiv.org/pdf/2003.05325.pdf
在传统RL算法和外部环境之间又架了一层“好奇心”模块，模块返回的\hat{r} 是RL算法真正训练使用的回报。(并不直接使用环境回报r )。
这样对于RL算法，回报不再是“傻乎乎”地锚定某个特定环境，而是可以适应多个环境。事实上该论文的实验就是针对多个RL环境游戏的，如Grid World：

继续阅读ICLR 2020论文精选：“好奇心”的本质探讨，元学习与增强学习(RL)的“好奇心”机制，好奇心算法搜索，智能体的适应力增强

审视”类人”智能和人类天性：谈谈Keras之父抽象因果推理语料(ARC)的kaggle竞赛，智能评估，导出智能，类人智能，人类天性

如果“智能”是个体应对特定环境而被“诱导”出的，那么，个体的应对方式或作出假设的瞬间，也许是最有趣的部分！ — David 9

David曾经讨论过Keras之父对智能的看法，也谈论过Yann LeCun对智能的看法。前不久Keras之父发起的因果推理语料(ARC)的kaggle竞赛结束，进一步激励我总结一下对“智能”的新看法。

首先，几乎一致认可的是，“智能”不仅是一个个基于任务的技能的简单集合这么简单。如果是这样，无法解释人类在一生中会学习自己都无法预料一些技能，我们学习未知技能的灵活性总是超出自己的想象。

其次，人类智能也不是“通用智能”，这点François Chollet和Yann LeCun都提到了。如果人类智能是通用智能，那么无法解释人类根深蒂固不擅长的那些领域，如不擅长长期计划(跨域年的预测)，视觉有盲区，认知有偏差，计算缓存小（多位数相乘就可以把我们难倒）等等。

人类视觉盲区

哪怕经过训练我们也不能像熟悉走路一样自然地掌握线性代数。

同时，没有免费午餐定理告诉我们，任何优化方法，在一些方面的优势，在另一些方面则是劣势。因此，存在一个凌驾所有智能的万能的“通用智能”的可能性不大。稍加思考你还能发现“智能”这个东西是脱离不了外部环境的，它是大自然的产物。

那么人类智能究竟是一种什么样的“智能”？

...阅读更多...加入David9的星球群阅读所有文章:

加入David9的星球群，获得通行密码 , 阅读全文