ICLR 2020论文精选:“好奇心”的本质探讨,元学习与增强学习(RL)的“好奇心”机制,好奇心算法搜索,智能体的适应力增强

与其说人类是智能“搜索”机,不如说人类是智能“贪婪”机— David 9
David最近在思考一个问题,表面上看所有智能问题都是“搜索”问题,包括今天我们讨论“好奇心”本质,也可以理解为对“好奇心”算法的搜索。
但是,人类仅仅是一台高级一点的“搜索机”吗?或者说除了“搜索”,“智能”(灵性)是否必须有一些其他重要属性比如“抽象能力”,“信息组织能力” ?换句话,仅仅用显式“搜索”构建的“智能”是不是“伪智能”?
事实上,今天我们探讨的这篇MIT在ICLR 2020的论文,就是这样一种“搜索”出来的“好奇心”。但是,这已经是当今一群聪明人可以设计的较好的“好奇心”机制了。
毫无疑问,好奇心是智能体主动探索外部环境,获取有用经验的驱动力。
在内部,MIT研究人员把“好奇心”设计为一种“代理回报”(proxy rewards)的机制:
来自:https://arxiv.org/pdf/2003.05325.pdf
在传统RL算法外部环境之间又架了一层“好奇心”模块,模块返回的\hat{r} 是RL算法真正训练使用的回报。(并不直接使用环境回报r )。
这样对于RL算法,回报不再是“傻乎乎”地锚定某个特定环境,而是可以适应多个环境。事实上该论文的实验就是针对多个RL环境游戏的,如Grid World:

继续阅读ICLR 2020论文精选:“好奇心”的本质探讨,元学习与增强学习(RL)的“好奇心”机制,好奇心算法搜索,智能体的适应力增强

审视”类人”智能和人类天性:谈谈Keras之父抽象因果推理语料(ARC)的kaggle竞赛,智能评估,导出智能,类人智能,人类天性

如果“智能”是个体应对特定环境而被“诱导”出的,那么,个体的应对方式或作出假设的瞬间,也许是最有趣的部分! — David 9

David曾经讨论过Keras之父对智能的看法,也谈论过Yann LeCun对智能的看法。前不久Keras之父发起的因果推理语料(ARC)的kaggle竞赛结束,进一步激励我总结一下对“智能”的新看法。

首先,几乎一致认可的是,“智能”不仅是一个个基于任务的技能的简单集合这么简单。如果是这样,无法解释人类在一生中会学习自己都无法预料一些技能,我们学习未知技能的灵活性总是超出自己的想象。

其次,人类智能也不是“通用智能”,这点François Chollet和Yann LeCun都提到了。如果人类智能是通用智能,那么无法解释人类根深蒂固不擅长的那些领域,如不擅长长期计划(跨域年的预测),视觉有盲区认知有偏差计算缓存小(多位数相乘就可以把我们难倒)等等。

人类视觉盲区

哪怕经过训练我们也不能像熟悉走路一样自然地掌握线性代数。

同时,没有免费午餐定理告诉我们,任何优化方法,在一些方面的优势,在另一些方面则是劣势。因此,存在一个凌驾所有智能的万能的“通用智能”的可能性不大。稍加思考你还能发现“智能”这个东西是脱离不了外部环境的,它是大自然的产物。

那么人类智能究竟是一种什么样的“智能”?

...阅读更多...加入David9的星球群阅读所有文章:

加入David9的星球群,获得通行密码 , 阅读全文