可解释,自解释,以及交互式AI的未来

宇宙没有义务让人理解,但AI有义务被人,并帮助人理解!  ——  David 9

一个AI模型,无论被工程师如何设计,它最终还是要和使用者交互,哪怕只是一个小小简单的判断分类问题。一旦它把判断结果信息传递给人类,人与机器之间的边界就变的难以划分。AI判断结果一定有错误信息(或AI够不着的问题),人类应该怎么处置?

是指出错误,留给AI去处理?还是人类自己搞一套应对机制?

当然,后一种更容易操作,把AI够不着的问题都留给人类解决,如医疗领域的SPIRIT-AI和CONSORT-AI协议,就旨在提供一套完善的医疗实验交互方针:

来自:https://www.nature.com/articles/s41591-020-1034-x

因为医疗临床实验需要更高规范和更低出错率。不仅仅是医疗,事实上,目前的多数领域的AI落地,交互,都需要大量的 继续阅读可解释,自解释,以及交互式AI的未来

“预训练”VS“自监督”,究竟哪个更“有脑”更高效?探究自监督最有效实践和方案,深入了解自监督学习David 9的番外篇#2

学习的第一要素从来都不是“模仿”或“收获知识”,学习要有“控制感” !—  David 9

近来,研究人员似乎更加执着地认为,类似BERT, GPT等大型语言模型的训练方式也可以在视觉图像领域一展拳脚(pretrain+finetune)。

pretrain + task specific finetuning 方式
pretrain + task specific finetuning 方式

其中包括Image GPT 和 SimCLRv2 。当然照搬BERT,GPT到图像域是不可能的。这两个框架都采用各自独特的方法做(pretrain+finetune)稍后David将详细讲述两者区别。

David首先要强调的是,所有目前看来“先进的”算法(“预训练”,“自监督”甚至像GPT这样的大模型)都只是人们最大限度把自己的先验传导到模型,把最大自由度留给算力的过程。所以请允许我提一点猜想:

先验流(阻力)假设:人的先验传导到机器域是有阻力的。当模型能更高效率地传导人的先验,那么模型的学习效果就更好。— David 9

以这个假设,即使人类现在的模型架构原地踏步,只要人类的硬件和计算力在不断增强,训练数据不断增加,模型总能更高效地“吸收”人的先验。

扯远了,要真正提高“先验传导”,还是要从模型下手。

Google前不久的文章(Rethinking Pre-training and Self-training)就比较了“预训练”和“自监督”的优劣,直接说PK结果: 继续阅读“预训练”VS“自监督”,究竟哪个更“有脑”更高效?探究自监督最有效实践和方案,深入了解自监督学习David 9的番外篇#2

【独家】深入了解自监督学习(self-supervised learning),David 9的番外篇

作为一个物种,人类智能(human intelligence)正在向通用智能(general intelligence)的方向发展,不是吗?— David 9

最近看到Yann LeCun 的播客访谈,聊到人类智能,LeCun认为人类智能是非常specific的(具体的而远非“通用智能”):

来自访谈:https://www.youtube.com/watch?v=SGSOCuByo24&t=3545s

是的,为了在大自然长期生存下来,我们的祖先更关心与生存密切相关的东西。我们的视觉有盲区行为有太多模式,我们的内在“世界模型”也不“通用”(general)。

人类经常以为自己能应对世界的复杂变化,这只是他们一厢情愿的世界观,事实上,多数情况他们只能勉强应对(在自己构建的“世界模型”的舒适区)。

但这,足以支撑普通人的正常生存(即使他们用自以为用完整通用的智能应对一切), 原始人主要任务是擅长打猎就行(其他的复杂因素如天气可以用“神”来补充世界观):

远古人攻击野猪图

工业时代为了生存,人类甚至可能沦为机器的奴隶:

卓别林:《摩登时代》

所以,

与其说人类是通用智能,不如说我们是基于生存的智能 — David 9

David同意人类的局限是明显的,但借助外部工具如AI,人类正在变得越来越general,看到很多看不到的东西,这种人与机器的“互补智能”是未来不可估量的(有机会下次展开)拉回到主题: 

人类智能本身, 其实也有一个秘密武器:”自监督”学习

那么究竟什么是自监督?

首先,自监督有监督学习!哪怕目前缺少有标注的samples,他也会想办法加上一些假的(pseudo)label ,或者用其他间接的方式得到比较可信的label。其次, 继续阅读【独家】深入了解自监督学习(self-supervised learning),David 9的番外篇