GPT3无疑是一个进步,但很多人抓错了重点:对伪常识,伪逻辑和因果推理未来的一些思考

注意力机制看似对符号化学习(或人类智能的产生)是“隔靴瘙痒”,但从另一面说,也可能是一个基石 — David 9

熟悉David读者知道我对真正的智能(或类人智能)的产生感兴趣,当今,普遍的共识是截然相反的两种路径(方式):

1. 自上而下。构造一个本身在语义和逻辑上就有意义的系统,在这个系统下构建各个组件,随着组件的趋于完备(完美),也就达到了类人等级的智能。

2. 自下而上。先从混沌的初级结构开始构建(类似神经网络的一层网络),慢慢构建复杂的结构,在上层慢慢“长”出意识(或智能)。

由于目前神经网络(深度网络)的浪潮,后一种声音占了多数。

但显然,David可以想象出神经网络风光不再的场景,比如到了某个阶段,人类矩阵算力(GPU)不再昂贵, 组合各种神经网络变得非常简单,同时人们又想要更多有意义的结果,那时,“拼装组合”成了主旋律,人们对神经网络内部结构已经不感兴趣。也可能,那时的神经网络已经可以自动“生长”,无需人去构建。就像我们以前在“谷歌的免训练网络”中谈到的:

来自:https://arxiv.org/abs/1906.04358

回到GPT3, David其实不赞同一些网友总结GPT3的意义。

是因为1750亿参数并使用了45TB数据吗?我相信以后还会有更多更大的网络出现。

是因为用更少的领域数据,解决对领域内有标签数据的过分依赖吗?论文在相关工作中指出,元学习(Metalearning)迁移学习都在这个方向上曾作出过努力。

仅仅因为用了较大网络达到较好(无监督)效果,就值得GPT3骄傲吗?我觉得也不是。

请读者细品一下论文的大标题:“Language Models are Few-Shot Learners

这告诉我们OpenAI团队的两点洞见

1. 作者认为人类的语言学习是Few-Shot的Learner。对于

...阅读更多...加入David9的星球群阅读所有文章:

加入David9的星球群,获得通行密码 , 阅读全文

发布者

David 9

邮箱:yanchao727@gmail.com 微信: david9ml

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注