“数据增强式”自监督的未来和下一个阶段,深入了解自监督学习#3

不存在纯粹的无监督,那些较“高明”的无监督往往需要对先验做“高明”的处理 — David 9

接着之前的自监督系列,先回顾一下david对自监督的广义概括:

自监督是在已有信息基础上,挖掘额外信息,并进一步强化和丰富已有信息的过程 — David 9

总的来说,“自监督”是有监督学习,并且是半监督的,之所以不直接叫做半监督,是因为它不是简单无监督和有监督拼凑(当然也有营销成分😉),它用各种“更高明的”(包含人类先验的)方式利用大量无标签的样本,自我强化和丰富已有的有标签样本模型。

这里的“更高明的”方法总结有两种:

1. 利用更复杂的(加入人类先验的)lossdavid之前谈到的InfoMax模型就是典型例子。

2. 利用大量“数据增强”方法训练模型。注意这也是加入人类先验的(数据增强方法不能随意选择)。

我们今天要谈的是第二种方法。即:“数据增强式”自监督。

下面是前阵子Google两篇曝光度较高的两篇文章,都用到了这种“数据增强式”自监督

...阅读更多...加入David9的星球群阅读所有文章:

加入David9的星球群,获得通行密码 , 阅读全文

“去端到端”化和复杂loss:梯度隔离的分层神经网络模型Greedy InfoMax(GIM),深入了解自监督学习#2,InfoNCE loss及其对分层脉冲神经网络的启发

“端到端”学习是个“童话”,讲给懒人听的“童话”  — David 9

记得听说“端到端”学习时的感受吗?有人告诉你只要准备训练数据集,其他的什么也不用做,等着模型收敛就行,就像有人告诉你上帝造了亚当,只需接受,不用怀疑。但是当实践时,所谓的“卖点”完全不是那么回事,代码不work要内部调试,模型性能差也要内部调优。

如果你运气好不用调试也不用调优,那么来自AMLab(阿姆斯特丹机器学习实验室)的这篇文章还会给你至少3个理由, 指出“端到端”的问题:

1. 所有的“端到端”深度模型每次迭代都需要对整体进行反向传播,这就意味着显存GPU的大量消耗:

2. 如果实现了分层隔离的神经网络模型,可以更高效地采用分布式边缘计算

3. 生物界或自然界普遍不是完全“端到端”的,记得我们之前讲过的脉冲神经网络吗?拿神经元举例,信息传递不是直入直出的,神经网络是有延时的,大脑和皮肤不是直接共享信息的,而是由中间的绿色兴奋区域(active zone)做中转的,脑皮层的神经元如果需要信息,他会自己去active zone拿:

来自:https://www.youtube.com/watch?v=C_2Q7uKtgNs&t=1433s

即,实际人类神经网络中的各个模块的独立性或许超出的我们的想象。换句话说, 继续阅读“去端到端”化和复杂loss:梯度隔离的分层神经网络模型Greedy InfoMax(GIM),深入了解自监督学习#2,InfoNCE loss及其对分层脉冲神经网络的启发

一项无法忽视的无监督技术:OpenAI任务通用模型GPT,GPT-2,MuseNet,Attention 模型,#David 无监督系列

看似庞大复杂的工程都来自一个简单的愿望 — David 9

人一生的行为往往由一个简单(但看似虚无)的意义驱动,而机器模型的行为由很多具体任务(实际的loss函数)驱动。于是,有的人为了“爱”可以苦费心思建成辉宏的泰姬陵 ; 而深度学习模型在不同任务间切换都如此困难。

幸运的是,多数人的愿望是AI朝着更通用(非具体)的方向发展。所以我们可期待更通用AI模型的出现。甚至David期待将来“域”通用模型的出现,这里的domain指的至少是人体五官胜任的所有任务(视觉域语言域音频域触觉域嗅觉域等

拉回现实,OpenAI在语言域GPT(GPT-2音频域MuseNet模型已经取得了广泛关注。对于通用语言模型的探索,GPT早已不是先例:

从汲取上下文关系的CoVe词向量(有监督,任务单一),到无监督预训练并且多任务通用的GPT-2 单模型“通用”的能力正在不断增强。

继续阅读一项无法忽视的无监督技术:OpenAI任务通用模型GPT,GPT-2,MuseNet,Attention 模型,#David 无监督系列