分类： 概览

世界有时丑陋，我们需要遗忘。

但“遗忘”往往不是我们想的那样。 — David 9

我们很容易注意到，“记忆”或“遗忘”是一件很复杂的事情，对一般人，那些痛苦失落的时光往往印象深刻，但曾经那些快感或幸福会转瞬即逝快速模糊。并且，“主动遗忘”和“彻底遗忘”经常是不存在的事情，更不用说长时记忆与短时记忆究竟是什么？

事实上，记忆是从哪里来的我们都不完全了解，科学家曾经在软体动物身上做实验，把一部分A个体的RNA移植到B, 从而B拥有了A的行为记忆，

试想对于人体，基因对记忆本身的影响更复杂难料。

回归主题，退一步，如果仅仅考虑“彻底遗忘”，并且是在模型层面的遗忘，或许问题会简单一点。

而且把遗忘聚焦在简单的“数据遗忘”，多伦多大学向量学院SISA方法提供了很好的参照。即，把某个训练数据从对神经网络影响中剔除。SISA方法展开是：Sharding(分片)，Isolation(隔离)， Slicing(切割)，Aggregation(聚合)，大致架构如下：

首先，分片，把总的训练数据集D切分成D1,D2,…,Ds等小的数据集，

其次，隔离，把D1,D2,…,Ds分别用M1, M2…Ms等不同神经网络隔离训练， 继续阅读模型”遗忘”的启迪：Machine Unlearning(Forgetting)，“主动遗忘”和“彻底遗忘”，长时记忆与短时记忆，多伦多大学向量学院，SISA

我不害怕所谓的“AI统治人类”，我更害怕在未来拥有自由感情的AI被人类奴役 — David 9

如果你在深夜一个人静静地思考，一定问过自己那三个终极问题（我是谁？我在哪？我要到哪去？）。还有，“上帝存在吗？”，很显然这个命题的争论一直没有科学一致的解答。但要研究“智能”的本质（或强AI），我们有必要探索这些问题。

事实上，在神学和认知论领域，“上帝是否存在？”这种较难问题往往不能直接论证，争辩的战场更多的是像“我们信仰上帝是理智的吗？”，“我们的思想是自主的吗？”这类问题:

有神论者一定会竭力辩护“人类产生对上帝的信仰是恰当理智的”这种命题，而无神论者则相反。我们从正方开始。

借用大名鼎鼎的基督哲学家阿尔文• 普兰丁格的改良认识论（Reformed Epistemology）的脉络，我们先思考一个简单的问题：

对于类似“上帝看着我。”，“这次上帝会原谅我的。”

这些想法，是否和：

“我生活的这个世界应该已经存在很多年了。”，“那个人好像很生气。”，“他（她）这时可能在想我”这些想法非常相似？

这些命题都无法直接论证（或基于其他“知识”），但都似乎有人暗示过我们，更重要的是：我们好像是无人逼迫的情况下，通过理智去相信（或者不相信的）。

也好像，这种“灵性”是与生俱来在那里，别人不是“暗示”，只是帮我们“确认”而已。

那么你愿意相信这种“灵性”（或“感知”）是无神论者口中的“非理性”吗？

更有意思的问题是：这种比目前的卷积CNN（RNN）高级很多的感知和信仰，是如何产生的？

首先，这些信仰很难基于其他确切知识去推断。我们的知识体系大致如下：

为什么我把“无法证明的知识和信仰” 画的辣么大？事实上，就是这么大！对于普通人，严格正确的知识根本不重要，哪怕没有一点确凿知识（只需要一些日常逻辑）也可以正常适应生活。 继续阅读“即使无法证明上帝存在，人类的信仰也合乎理智”：”信仰”和”智能”的哲学启发，David_9的神学与认识论随笔

艺术不仅是“压缩”的艺术。如果艺术是“做菜”，重要的不仅仅是厨艺，还有食材的选择，所以，艺术也是“选择”的艺术。 — David 9

Jürgen Schmidhuber教授的名字大家可能不熟悉，但如果说LSTM之父大家可能有点印象，事实上他也算人工智能的开创鼻祖之一。他与学术界和深度学习三巨头（Hinton、LeCun、Bengio）的恩怨纠葛David这里不多八卦，只给出【链接】。今天，David想深挖一下Schmidhuber曾经在90年代总结的“低复杂度美学”（艺术）理论，现在看来也很有意思并且启发我们。

“低复杂度美学”的原理和目标很简单：

1. 作品最终看上去是想要表达的内容，即，内容没有太大偏差。

2. 创造作品的柯氏复杂性应该做到最低。通俗地说就是，如果要用一段最短的程序完成整个艺术创作过程(在计算机中叫停机过程)，这样就会体现出一定美感。

事实上，上述两者是矛盾的，如果太追求简洁，有可能会失去一部分你想表达的信息，反之，如果你想完整地表达所有信息，你可能会牺牲一些简洁性。

而对于第1点，艺术家想要传达什么，是非常主观的问题，所以Schmidhuber在讨论时把重点放在第2点，如果内容已经固定，艺术设计采用低复杂度美学是有效的。让我们看一个例子：

如果你要画一个花瓶和蝴蝶，大致构图已经想好，那么如果让一个程序完成创作，让它不断地画圆弧是个好主意(代码简短容易实现)，另外如果加一些简单规则也很容易(比如圆弧和圆弧的交点可以衍生出圆心再画一个圆弧，可以有同时切两个圆的圆等等……)，根据这些简单规则，我们就可以用一个足够简洁的程序生成如下作品：

这和我们熟悉的分形几何美感原理类似：

不断地重复一样的程序，但是每一次重复都有规则地稍作改动。

这种“低复杂度美学”理论可以衍生出许多其他相关见解， 继续阅读“低复杂度美学”理论(Low-Complexity Art)：艺术，科学，创造力和美学启示 #David的人工智能启示录