如果不存在至高的上帝，那么也不存在至高的解释，不论解释者做何种努力 — David 9
假想这样一个场景，世界上仅有两个至高的神（比如“宙斯”和“赫拉”），互相解释同一件事情。虽然宙斯和赫拉都是无所不知的神，但我们假设宙斯对赫拉并不是无所不知的(同样赫拉对宙斯也是)：
那么，他们相互可以解释清楚同一件事情吗？
因为赫拉除了宙斯之外已经无所不知了，那么，宙斯向赫拉解释的过程就退化为：把自己对这件事所知道的信息传递给赫拉。
如果宙斯需要解释的信息都是共同知道的信息，那这种信息传递较容易。但如果解释中包括了宙斯知道的信息而赫拉不知道的，那么赫拉将难以理解和消化。并且，宙斯不知道赫拉有哪些事是已经知道的，所以宙斯不一定能高效地把自己知道的一切让赫拉明白。
也许，最高效的解释不仅是找到共同可以理解的交集，也在于如何预测对方可能已经知道的信息。
回到正题，对于复杂模型的解释，人们普遍停留在找“可以共同理解”的交集，当然， 继续阅读复杂模型解释的几种方法(interpret model): 可解释，自解释，以及交互式AI的未来#2，第二弹
正确的废话总是令人讨厌，如果，正确的废话再具体一点？或选个好角度再具体一点呢？—— David 9
科学界有这样一些论文题目，看起来有点意思，请允许David列出一些：
一些研究人员大胆地指出：A其实就是B！这就像告诉我们，“天上的云其实就是水分子，光其实也是一种波，妈妈唠叨其实是为了关心你”。看起来似乎都是正确的废话。
但是有两点值得注意：
1. 这至少可以帮你换个角度解释世界。
2. A其实就是B，是说A被B包含，即A⊆B，说明，B的解释范围比A大（得多）， 继续阅读为什么说Transformer模型甚至神经网络的“颠覆”会更早到来？以及神经网络的“表达力”并非真正的“壁垒”？
注意力机制看似对符号化学习(或人类智能的产生)是“隔靴瘙痒”，但从另一面说，也可能是一个基石 — David 9
熟悉David读者知道我对真正的智能(或类人智能)的产生感兴趣，当今，普遍的共识是截然相反的两种路径(方式)：
1. 自上而下。构造一个本身在语义和逻辑上就有意义的系统，在这个系统下构建各个组件，随着组件的趋于完备(完美)，也就达到了类人等级的智能。
2. 自下而上。先从混沌的初级结构开始构建(类似神经网络的一层网络)，慢慢构建复杂的结构，在上层慢慢“长”出意识(或智能)。
由于目前神经网络(深度网络)的浪潮，后一种声音占了多数。
但显然，David可以想象出神经网络风光不再的场景，比如到了某个阶段，人类矩阵算力(GPU)不再昂贵, 组合各种神经网络变得非常简单，同时人们又想要更多有意义的结果，那时，“拼装组合”成了主旋律，人们对神经网络内部结构已经不感兴趣。也可能，那时的神经网络已经可以自动“生长”，无需人去构建。就像我们以前在“谷歌的免训练网络”中谈到的：
回到GPT3, David其实不赞同一些网友总结GPT3的意义。
是因为1750亿参数并使用了45TB数据吗？我相信以后还会有更多更大的网络出现。
是因为用更少的领域数据，解决对领域内有标签数据的过分依赖吗？论文在相关工作中指出，元学习(Metalearning)和迁移学习都在这个方向上曾作出过努力。
仅仅因为用了较大网络达到较好(无监督)效果，就值得GPT3骄傲吗？我觉得也不是。
请读者细品一下论文的大标题：“Language Models are Few-Shot Learners”
这告诉我们OpenAI团队的两点洞见： 继续阅读GPT3无疑是一个进步，但很多人抓错了重点：对伪常识，伪逻辑和因果推理未来的一些思考
