“即使无法证明上帝存在,人类的信仰也合乎理智”:”信仰”和”智能”的哲学启发,David_9的神学与认识论随笔

我不害怕所谓的“AI统治人类”,我更害怕在未来拥有自由感情的AI被人类奴役 — David 9

如果你在深夜一个人静静地思考,一定问过自己那三个终极问题(我是谁?我在哪?我要到哪去?)。还有,“上帝存在吗?”,很显然这个命题的争论一直没有科学一致的解答。但要研究“智能”的本质(或强AI),我们有必要探索这些问题。

事实上,在神学和认知论领域,“上帝是否存在?”这种较难问题往往不能直接论证,争辩的战场更多的是像“我们信仰上帝是理智的吗?”,“我们的思想是自主的吗?”这类问题:

有神论者一定会竭力辩护“人类产生对上帝的信仰是恰当理智的”这种命题,而无神论者则相反。我们从正方开始。

借用大名鼎鼎的基督哲学家阿尔文• 普兰丁格改良认识论(Reformed Epistemology)的脉络,我们先思考一个简单的问题:

对于类似“上帝看着我。”,“这次上帝会原谅我的。

这些想法,是否和:

我生活的这个世界应该已经存在很多年了。”,“那个人好像很生气。”,“他(她)这时可能在想我”这些想法非常相似?

这些命题都无法直接论证(或基于其他“知识”),但都似乎有人暗示过我们,更重要的是:我们好像是无人逼迫的情况下,通过理智去相信(或者不相信的)

也好像,这种“灵性”是与生俱来在那里,别人不是“暗示”,只是帮我们“确认”而已。

那么你愿意相信这种“灵性”(“感知”)是无神论者口中的“非理性”吗?

更有意思的问题是:这种比目前的卷积CNN(RNN)高级很多的感知和信仰,是如何产生的?

首先,这些信仰很难基于其他确切知识去推断。我们的知识体系大致如下:

为什么我把“无法证明的知识和信仰” 画的辣么大?事实上,就是这么大!对于普通人,严格正确的知识根本不重要,哪怕没有一点确凿知识(只需要一些日常逻辑)也可以正常适应生活。 继续阅读“即使无法证明上帝存在,人类的信仰也合乎理智”:”信仰”和”智能”的哲学启发,David_9的神学与认识论随笔

重新认识ELBO,对“后验失效”(posterior collapse)问题的新理解,探索VAE,pPCA和贝叶斯模型世界

有时一件事做的不够好,不是准备的不够好,只是因为我们不够“聪明”。 —— David 9

神经网络一个有意思的地方是,它的信息容量总是比要处理的问题大,它的复杂度往往是“过剩”的。但是其他传统模型,包括今天聊的贝叶斯概率模型世界,复杂度就不能简单地用“加深层数”和“跳层连接”实现,这些模型,增加模型复杂度就要用其他“聪明”些的方式。

在贝叶斯模型世界(如VAEpPCA),所担心的不是神经网络的梯度消失”或“梯度爆炸,而是“后验失效”(posterior collapse)现象。本质上,任何模型(传统或非传统)都要从每个新样本“汲取信息”,更新自身。当信息无法汲取并用来更新模型,就会出现上述问题。

不同的是,GAN(或神经网络)信息传递是内部“混沌”的,VAE的信息传递在内部总要映射到一个假想的隐变量z的分布上(常见高斯分布)

VAE与GAN结构比较

即,GAN训练的是如何生成一个样本,而VAE训练的是如何生成一个分布(这个分布可以生成样本)。

VAE的变分推断中,直接计算数据x的相似度边际分布log p(x) 非常困难,但是可以用变分分布q(z|x)去估计后验(实际上变分分布就是VAE的编码器encoder),这就引出了VAE的目标函数ELBO,即the Evidence Lower Bound

log p(x)一定是大于ELBO的,那么让ELBO最大就是VAE的最终解了:ELBO的广泛使用使得“后验失效”(posterior collapse)现象的根源看似就是ELBO目标函数。 继续阅读重新认识ELBO,对“后验失效”(posterior collapse)问题的新理解,探索VAE,pPCA和贝叶斯模型世界

CL“信心学习”: 专注样本质量的训练,MIT与谷歌的半监督新方法,Confident learning原理与代码cleanlab

每一次挫败都值得“反复咀嚼”,人类和AI都应如此,而人类似乎从中感受更多的痛苦。也许这种痛苦源于更“高层”的“感知”。 — David 9

人类许多痛苦来源于无法躲避的事物想要躲避的“主观”(潜意识或非潜意识)。所以,懂得和“情绪”好好相处被视为“高情商”;懂得和“失败”好好相处被视为“智慧”。那么,好好和“数据”相处,恐怕也是AI模型的进步。

不得不承认,没有任何数据集是完全干净的。除去人工标注的错误,单个样本的标签也有歧义,下图是ImageNet中的噪声图像:

来自:https://arxiv.org/pdf/1911.00068.pdf

图像中的拼图(PUZZLE)上画着鼓(DRUM),那么这张图像分类应该是“拼图”还是“鼓”?超市(GROCERY STORE)内部的照片有香蕉(BANANA)的货架,那么这张图像应该归为“超市”还是“香蕉”?

同样MNIST也有难分的图像:

来自:https://github.com/cgnorthcutt/cleanlab

这些广泛存在的噪声数据,如果不和这些数据“好好相处”,任何普通的神经网络和传统算法都无可奈何(因为低级感知无法感知语义歧义)。

在不改变模型情况下,MIT和Google的研究人员试图用所谓的“信心学习”(Confident learning)方法,半监督的方式清洗数据

先看一眼整体框架: 继续阅读CL“信心学习”: 专注样本质量的训练,MIT与谷歌的半监督新方法,Confident learning原理与代码cleanlab