对标CycleGAN:EnlightenGAN是如何无监督(无配对图像)训练夜景增强,低曝光还原的?

作为无监督无配对图像的样式转换领域的标杆,CycleGAN让人印象深刻。通过一个循环一致loss(cycle consistency loss) 保证生成器生成的样本经过再生成,能够和原来样本保持相似一致性:

来自:https://arxiv.org/pdf/1703.10593.pdf

所以,生成器不仅要像普通GAN那样生成另一个样式域的图像,而且,这个生成的图像如果从另一个样式域映射回来,要和原图足够像才行:

来自:https://arxiv.org/pdf/1703.10593.pdf

但是CycleGAN也有缺点,CycleGAN不可能针对所有样式转换应用都适合,所以针对特殊应用需要修改,另外,这种双向GAN loss计算量就比较大,两个样式域的loss都要考虑。

针对这些,EnlightenGAN在训练夜景增强,低曝光还原的图像上试图更近一步:

来自:https://arxiv.org/pdf/1906.06972.pdf

事实上,CycleGAN和EnlightenGAN都是在loss上做了手脚(你必须告诉GAN要生成和原图相似的图像,不是吗?)。

但EnlightenGAN 更进一步 ,做到了单向GAN训练(无需cycle循环)继续阅读对标CycleGAN:EnlightenGAN是如何无监督(无配对图像)训练夜景增强,低曝光还原的?

CTC的直观理解(Connectionist Temporal Classification连接时序分类),单行文本时序分类识别的端到端方法

把基于概率的自动化叫做AI是否有些可笑? — David 9

原文:An Intuitive Explanation of Connectionist Temporal Classification

聊到CTC(Connectionist Temporal Classification),很多人的第一反应是ctc擅长单行验证码识别:

两组谷歌验证码示例

是的,ctc可以提高单行文本识别鲁棒性(不同长度不同位置 )。今天David 9分享的这篇文章用几个重点直观的见解把ctc讲的简洁易懂,所以在这里就和大家一起补一补ctc 。

首先ctc算不上一个框架,更像是连接在神经网络后的一个归纳字符连接性的操作

来自:https://towardsdatascience.com/intuitively-understanding-connectionist-temporal-classification-3797e43a86c

cnn提取图像像素特征,rnn提取图像时序特征,而ctc归纳字符间的连接特性。

那么CTC有什么好处?

因手写字符的随机性,人工可以标注字符出现的像素范围,但是太过麻烦,ctc可以告诉我们哪些像素范围对应的字符

手写字符的单行像素标注, 来自:https://towardsdatascience.com/intuitively-understanding-connectionist-temporal-classification-3797e43a86c

如上图标注“t”的位置出现t字符,标注o的区域出现o字符。 继续阅读CTC的直观理解(Connectionist Temporal Classification连接时序分类),单行文本时序分类识别的端到端方法

聊聊目标检测中的多尺度检测(Multi-Scale),从YOLO,ssd到FPN,SNIPER,SSD填坑贴和极大极小目标识别

狙击手在放大倍焦前已经经历了大量的小目标训练,这样看似乎是RPN做的好 — David 9

之前在讲SSD时我们聊过SSD的目标检测是如何提高多尺度(较大或较小)物体检测率的。我们来回顾一下,首先,较大的卷积窗口可以卷积后看到较大的物体, 反之只能看到较小的图片. 想象用1*1的最小卷积窗口, 最后卷积的图片粒度和输入图片粒度一模一样. 但是如果用图片长*宽 的卷积窗口, 只能编码出一个大粒度的输出特征.

对于yolov1,每层使用同样大小的卷积窗口, 识别超大物体或者超小物体就变得无能为力(最后一层的输出特征图是固定7*7):

YOLO架构示意图

SSD就更进一步,最后一层的检测是由之前多个尺度(Multi-Scale)的特征图共同生成的:

SSD架构示意图

这样SSD在计算复杂度允许的情况下,在多尺度物体的检测上有所提高。但是SSD也有明显缺陷,其最后几层的所谓“多尺度”是有限的(如上图特征图尺寸越小,可以识别的物体越大)。对于极小的目标识别,SSD就显得无能为力了继续阅读聊聊目标检测中的多尺度检测(Multi-Scale),从YOLO,ssd到FPN,SNIPER,SSD填坑贴和极大极小目标识别