David 9的博客 — 不怕"过拟合"

你可以说人类智能是大脑的模型“复杂”或“丰富”，但不能否认的是，其自由“切换”的效率（能力）也是如此惊人！很难想象未来AI不会向这个方向突破 — David 9

强化学习(RL)是一个有意思的存在，每一次算法 (AI)浪潮都可以让强化学习受益，但，每一次算法浪潮都不是因为强化学习的突破而产生。

我们以前聊过，如果世界上只有两种模型；“解释其他模型的模型”和“被其他模型解释的模型”，那么无疑，RL一直是后一种，甚至，大家没时间或没办法解释RL，因为大家都急着应用它做些什么。

回顾2020, RL依旧像个黑洞不断吸收着其他算法的养分，预计没有暂停的趋势，而人类生存的原始驱动就是各种“有形”或“无形”的reward(目标)：

但RL要让计算机懂得“有形”或“无形”的目标并不容易，其令人诟病的学习效率问题david总结了下面几个:

1. 突破应用效率（开发效率）。

即使当RL算法开发完毕，在实际部署中依旧会有这样那样的问题。为了加速RL应用到真实世界，谷歌研究人员曾推出真实世界RL开发包。方便了RL开发中的系统延时，系统约束，系统扰动等的调试。

“系统延时”：现实中实时系统在做控制时，经常会有观测，回报的延时，

“系统约束”：超出范围的无效行为的约束，

“系统扰动”：对环境的扰动可以增强RL在真实世界的表现，

2. 突破数据效率（抽样效率）。

这一类的效率更多的是静态训练效率。agent学习体已经有了一些环境中的经验数据，如何高效地利用这些已有的数据加快RL训练？在这里会有很多有意思的创新。

其中一个是众所周知的“世界模型”(world model)，具有代表性的是 继续阅读RL强化学习的新玩法和新想象——谈谈强化学习突破效率的问题

很难否定伦理是由情感主导的，同样也难以否定主导伦理的情感必须是“交互”的，并不是独立于社会之外的情感。— David 9

前不久，谷歌AI伦理研究员工Timnit Gebru被辞退的风波发酵，但在David看来这和普通的不平等事件相似，没有必要加上“AI”的名头，况且目前的AI没有能力和动机去歧视人类(或一部分人类)，只有一部分人类去歧视另一部分人类的可能。

并且，谷歌的一些人事和项目的弥补，只是隔靴搔痒，和大多数其他AI伦理项目一样，只是审查工具和人员调动（梵蒂冈AI伦理计划和联合国的AI伦理委员会）。但，真正把主动权交给AI的——所谓“通用人工伦理”的研究却相当少，而这，我认为并不是不可能（至少某种程度上）。在走向通用AI伦理的道路上，david认为这些问题更值得思考：

情感——重要因素

善与恶的知识不是别的，而是我们所意识到的快乐与痛苦的情感 —— 斯宾诺莎

如果大多数人在情感上无法接受，很难说伦理上是正确的。

许多学者认为伦理（善和恶的区分）是人意识到的情感。认知神经科学家也认为，道德判断两个重要组成就是：有意识的认知推理过程（理性）和情绪启动的直觉（情感）过程。而前者似乎只是判断事情真相，后者才左右普遍的看法。如恐怖谷理论认为，当机器人与人类的相似程度达到一个特定程度的时候，人们会(对任何瑕疵)突然变得极其负面和反感，

而反对者认为，这种情绪在人与人的接触中也会 继续阅读可以认真一点思考人工智能伦理吗？——【通用人工伦理】【人工道德行为体】