模型”遗忘”的启迪:Machine Unlearning(Forgetting),“主动遗忘”和“彻底遗忘”,长时记忆与短时记忆,多伦多大学向量学院,SISA

世界有时丑陋,我们需要遗忘。

但“遗忘”往往不是我们想的那样。 — David 9

我们很容易注意到,“记忆”“遗忘”是一件很复杂的事情,对一般人,那些痛苦失落的时光往往印象深刻,但曾经那些快感或幸福会转瞬即逝快速模糊。并且,“主动遗忘”“彻底遗忘”经常是不存在的事情,更不用说长时记忆与短时记忆究竟是什么?

事实上,记忆是从哪里来的我们都不完全了解,科学家曾经在软体动物身上做实验,把一部分A个体的RNA移植到B, 从而B拥有了A的行为记忆

试想对于人体,基因对记忆本身的影响更复杂难料。

回归主题,退一步,如果仅仅考虑“彻底遗忘”,并且是在模型层面的遗忘,或许问题会简单一点。

而且把遗忘聚焦在简单的“数据遗忘”,多伦多大学向量学院SISA方法提供了很好的参照。即,把某个训练数据从对神经网络影响中剔除。SISA方法展开是:Sharding(分片),Isolation(隔离), Slicing(切割),Aggregation(聚合),大致架构如下:

来自:https://arxiv.org/abs/1912.03817

首先,分片,把总的训练数据集D切分成D1,D2,…,Ds等小的数据集,

其次,隔离,把D1,D2,…,Ds分别用M1, M2…Ms等不同神经网络隔离训练, 继续阅读模型”遗忘”的启迪:Machine Unlearning(Forgetting),“主动遗忘”和“彻底遗忘”,长时记忆与短时记忆,多伦多大学向量学院,SISA

聊聊集成学习和”多样性”, “差异性”的那些事儿~

在第3期 “#3 集成学习–机器学习中的群策群力” 中我们谈到, 集成学习是使用一系列学习器进行学习,以某种规则把各个学习结果进行整合,从而获得比基学习器有更好学习效果集成学习器.

集成学习之所以有更好的学习效果, 与单个基学习器的“多样性”或者说“差异性”密不可分.

正像大自然万物的多样性随处可见, 生物繁衍产生下一代的过程.

集成学习的关键是允许每个单个学习器有各自的差异性, 同时又有一定错误率上界的情况下, 集成所有单个学习器. 正如在繁衍下一代时, 父母各自贡献自己的DNA片段, 取长补短, 去重组得到新的下一代基因组合.

对此, [Krogh and Vedelsby, 1995]给出了一个称之为”误差-分歧分解“(error-ambiguity decomposition)的漂亮式子:

E =\overline{E} - \overline{A}

E 表示集成后模型的泛化误差. 继续阅读聊聊集成学习和”多样性”, “差异性”的那些事儿~

#3 集成学习–机器学习中的群策群力 !

#3 集成学习--机器学习中的群策群力 !
/

背景:

总览

机器学习方法在生产、生活和科研中有着广泛应用,而集成学习则是机器学习的热门方向之一。
集成学习是使用一系列学习器进行学习,以某种规则把各个学习结果进行整合,从而获得比基学习器有更好学习效果集成学习器.

今天, 我们在分析讨论集成学习和多类集成学习的同时, 提出目前多类集成学习的一些问题, 供大家参考。

集成学习图例

sss

研究现状

理论丰富

二类集成学习已有较成熟理论基础。多类集成理论基于二类集成。

国际成果

Bagging (Leo Breiman, 1994,Technical Report No. 421.)

Boosting (Schapire, Robert E,1990 ,“The Strength of WeakLearnability”. Machine Learning (Boston, MA: Kluwer Academic Publishers)

AdaBoost (Yoav Freund and Robert Schapire,2003)

AdaBoost.MH, SAMME, PIBoost, GentleBoost, AdaCost

国内成果:

南大周志华等人提出选择性集成理论,于2001年在国际人工智能

顶级会议IJCAI上发表。另周志华等人提出了二次学习的思想,将集成学习用作预处理,在IEEE Trans. Information Technology in Biomedicine(2003)上发表。 继续阅读#3 集成学习–机器学习中的群策群力 !