特征工程的下一步可能是如何直接操控特征（同域或不同域），而不仅仅是特征选择或特征过滤 — David 9
相信很多初学迁移学习的朋友心里一直有个疑问：迁移学习的模型真的对新应用效果也好吗？更好的迁移模型，在其他应用上表现效果也更好吗？
根据Google Brain在CVPR 2019的研究总结，今天David偷懒一次，只说结论：
答案很大程度上是肯定的！Google Brain的大量实验证明，无论是把神经网络倒数第二层直接拿出来做预测，还是把预训练模型对新应用进行“二次训练”，好的imagenet预训练模型普遍有更好的迁移学习效果：
如上，左图是直接把网络倒数第二层特征直接拿出来进行迁移学习（使用Logistic Regression），右图是在新应用上find-tuned的迁移学习表现。可以注意到，只要是模型本来表现就好（横左标），迁移的效果就更好（纵坐标）。从性能最差的MobileNet到性能最好的Inception-ResNet无一例外。
但是，迁移学习并不是就无敌了。 继续阅读CVPR2019:好的模型，迁移学习效果就更好吗？Google Brain最新结论
如果训练神经网络可以与人一样，其训练日程可以精心规划编排、且有不同的学习曲线和阶段、在不同的领域有不同“天赋”自主学习。总之，训练过程可以足够“复杂”，是否可以诱导出更好的模型？ — David 9
假设神经网络有一个确切的决策边界，这个决策边界足够复杂可以帮我们分类10000+个类别，想象一下可能是这样复杂的：
但无论如何，归结到一个决策边界，是这样的：
对于任意新的训练样本X1，如果要让X1的loss更小，需要用一个梯度g1更新网络，对决策边界的影响势必导致另一个新样本X2的loss可能变小、不变或变大：
继续阅读神经网络的“刚性”(自恰性)：谷歌评估泛化能力新指标，Stiffness我们现在看到的智能算法都不是“可生长”的，遗传算法和ES只是强调了基因的“变异”，神经网络只是固定网络结构；而生物界的基因却可以指导蛋白质构成并且“生长”。— David 9
今年上半年谷歌大脑的“世界模型”(World Models)早已引起David 9的注意，今天终于有机会和大家叨叨。对于CarRacing-v0这个增强学习经典游戏：
世界模型(World Models)与其他增强学习相比有一些明显优势：
优势的来源David 9总结有两点：1. 模型拼接得足够巧妙，2. 抓住了一些“强视觉”游戏的“痛点”。 继续阅读谷歌大脑的“世界模型”(World Models)与基因学的一些思考，MDN-RNN与Evolution Strategies结合的初体验与源码
