不存在纯粹的无监督，那些较“高明”的无监督往往需要对先验做“高明”的处理 — David 9
接着之前的自监督系列，先回顾一下david对自监督的广义概括：
自监督是在已有信息基础上，挖掘额外信息，并进一步强化和丰富已有信息的过程 — David 9
总的来说，“自监督”是有监督学习，并且是半监督的，之所以不直接叫做半监督，是因为它不是简单无监督和有监督拼凑（当然也有营销成分
），它用各种“更高明的”（包含人类先验的）方式利用大量无标签的样本，自我强化和丰富已有的有标签样本模型。
这里的“更高明的”方法总结有两种：
1. 利用更复杂的（加入人类先验的）loss。david之前谈到的InfoMax模型就是典型例子。
2. 利用大量“数据增强”方法训练模型。注意这也是加入人类先验的（数据增强方法不能随意选择）。
我们今天要谈的是第二种方法。即：“数据增强式”自监督。
下面是前阵子Google两篇曝光度较高的两篇文章，都用到了这种“数据增强式”自监督：
“端到端”学习是个“童话”，讲给懒人听的“童话” — David 9
记得听说“端到端”学习时的感受吗？有人告诉你只要准备训练数据集，其他的什么也不用做，等着模型收敛就行，就像有人告诉你上帝造了亚当，只需接受，不用怀疑。但是当实践时，所谓的“卖点”完全不是那么回事，代码不work要内部调试，模型性能差也要内部调优。
如果你运气好不用调试也不用调优，那么来自AMLab(阿姆斯特丹机器学习实验室)的这篇文章还会给你至少3个理由, 指出“端到端”的问题：
1. 所有的“端到端”深度模型每次迭代都需要对整体进行反向传播，这就意味着显存GPU的大量消耗：
2. 如果实现了分层隔离的神经网络模型，可以更高效地采用分布式或边缘计算。
3. 生物界或自然界普遍不是完全“端到端”的，记得我们之前讲过的脉冲神经网络吗？拿神经元举例，信息传递不是直入直出的，神经网络是有延时的，大脑和皮肤不是直接共享信息的，而是由中间的绿色兴奋区域（active zone）做中转的，脑皮层的神经元如果需要信息，他会自己去active zone拿：
即，实际人类神经网络中的各个模块的独立性或许超出的我们的想象。换句话说， 继续阅读“去端到端”化和复杂loss：梯度隔离的分层神经网络模型Greedy InfoMax(GIM)，深入了解自监督学习#2，InfoNCE loss及其对分层脉冲神经网络的启发
看似庞大复杂的工程都来自一个简单的愿望 — David 9
人一生的行为往往由一个简单（但看似虚无）的意义驱动，而机器模型的行为由很多具体任务（实际的loss函数）驱动。于是，有的人为了“爱”可以苦费心思建成辉宏的泰姬陵 ; 而深度学习模型在不同任务间切换都如此困难。
幸运的是，多数人的愿望是AI朝着更通用（非具体）的方向发展。所以我们可期待更通用AI模型的出现。甚至David期待将来“域”通用模型的出现，这里的domain指的至少是人体五官胜任的所有任务（视觉域，语言域，音频域，触觉域，嗅觉域等）
拉回现实，OpenAI在语言域的GPT（GPT-2）和音频域的MuseNet模型已经取得了广泛关注。对于通用语言模型的探索，GPT早已不是先例：
从汲取上下文关系的CoVe词向量（有监督，任务单一），到无监督预训练并且多任务通用的GPT-2 ， 单模型“通用”的能力正在不断增强。
继续阅读一项无法忽视的无监督技术：OpenAI任务通用模型GPT，GPT-2，MuseNet，Attention 模型，＃David 无监督系列
