对标CycleGAN:EnlightenGAN是如何无监督(无配对图像)训练夜景增强,低曝光还原的?

作为无监督无配对图像的样式转换领域的标杆,CycleGAN让人印象深刻。通过一个循环一致loss(cycle consistency loss) 保证生成器生成的样本经过再生成,能够和原来样本保持相似一致性:

来自:https://arxiv.org/pdf/1703.10593.pdf

所以,生成器不仅要像普通GAN那样生成另一个样式域的图像,而且,这个生成的图像如果从另一个样式域映射回来,要和原图足够像才行:

来自:https://arxiv.org/pdf/1703.10593.pdf

但是CycleGAN也有缺点,CycleGAN不可能针对所有样式转换应用都适合,所以针对特殊应用需要修改,另外,这种双向GAN loss计算量就比较大,两个样式域的loss都要考虑。

针对这些,EnlightenGAN在训练夜景增强,低曝光还原的图像上试图更近一步:

来自:https://arxiv.org/pdf/1906.06972.pdf

事实上,CycleGAN和EnlightenGAN都是在loss上做了手脚(你必须告诉GAN要生成和原图相似的图像,不是吗?)。

但EnlightenGAN 更进一步 ,做到了单向GAN训练(无需cycle循环)继续阅读对标CycleGAN:EnlightenGAN是如何无监督(无配对图像)训练夜景增强,低曝光还原的?

MIT实验室Speech2Face模型: 听声音想象人脸,David9的CVPR2019观察

你曾经有没有根据声音预测人的面容?或者,看一个陌生人一面,你在心里其实已经预测了他说话的声音?

今年CVPR2019上的Speech2Face模型就试图还原这一过程。虽然David认为模型上没有什么新意,但是这篇文章的一些实验结论很有意思。

来自:https://arxiv.org/abs/1905.09773

模型上中规中矩,先预训练Face encoderdecoder(灰色块部分),让模型可以压缩脸部特征并根据脸部特征向量还原出图像。然后,引入Voice Encoder,把音频一样压缩到特征向量(红色块部分),这个音频特征向量应该可以用来很好地预测对应的人脸,如果预测不好,就应该增加Loss,反向反馈训练。

了解原理之后,最有意思的其实是一些统计实验结论, 继续阅读MIT实验室Speech2Face模型: 听声音想象人脸,David9的CVPR2019观察

CVPR2019:好的模型,迁移学习效果就更好吗?Google Brain最新结论

特征工程的下一步可能是如何直接操控特征(同域或不同域),而不仅仅是特征选择或特征过滤 — David 9

相信很多初学迁移学习的朋友心里一直有个疑问:迁移学习的模型真的对新应用效果也好吗?更好的迁移模型,在其他应用上表现效果也更好吗?

根据Google Brain在CVPR 2019的研究总结,今天David偷懒一次,只说结论:

答案很大程度上是肯定的!Google Brain的大量实验证明,无论是把神经网络倒数第二层直接拿出来做预测,还是把预训练模型对新应用进行“二次训练”好的imagenet预训练模型普遍有更好的迁移学习效果

来自:《Do Better ImageNet Models Transfer Better?》

如上,左图是直接把网络倒数第二层特征直接拿出来进行迁移学习(使用Logistic Regression),右图是在新应用上find-tuned的迁移学习表现。可以注意到,只要是模型本来表现就好(横左标),迁移的效果就更好(纵坐标)。从性能最差的MobileNet到性能最好的Inception-ResNet无一例外。

但是,迁移学习并不是就无敌了。 继续阅读CVPR2019:好的模型,迁移学习效果就更好吗?Google Brain最新结论