深度增长网络: 构建稳定,高质量,多样的GAN对抗模型,英伟达论文选读2

GAN凝结了人们对”创作”本质的看法 — David 9

虽然ICLR 2018 要明年5月举办, 一些企业巨头已经摩拳擦掌,前不久,英伟达正在审阅的论文引起了大家注意,David 9觉得很有意思。论文用深度增长的网络构建、并生成稳定,高质量,多样的GAN对抗样本图片 :

来自:https://www.youtube.com/watch?v=XOxxPcy5Gr4&feature=youtu.be

上图demo是深度增长网络GAN生成的明星样本,清晰度和质量堪称惊艳。论文打破了神经网络在训练过程中“架构不变”的惯性思维。为了更好地“临摹”高清的明星脸谱,训练过程中,先从“粗略模糊”地“勾勒”开始对抗学习: 继续阅读深度增长网络: 构建稳定,高质量,多样的GAN对抗模型,英伟达论文选读2

DeepRecommender:基于自编码器的协同过滤(Collaborative Filtering),英伟达论文选读及其pytorch实现

有时候,读读工程类的文章,虽然简单,但是能看到别人踩过的坑用过的tricks,也是挺有意思。NVIDIA不久前放出的协同过滤新标杆DeepRecommender Netfix 2009年的netflixprize竞赛数据为基准,使用基于自编码器协同过滤,准确率比普通模型都高。

netflixprize竞赛目标非常简单,预测一个用户对一部影片评分的可能值(Netflix要推荐用户最感兴趣的影片来赚钱,不是吗?)事实上,评价竞赛分数的loss函数也很简单,是一个均方误差:ri是真实评分yi是模型预测评分mi是一个外加的mask控制项,如果真实评分ri=0,那mi=0,否则mi就可以等于1. 继续阅读DeepRecommender:基于自编码器的协同过滤(Collaborative Filtering),英伟达论文选读及其pytorch实现

#Inception深度网络家族盘点 | Inception v4 和Inception-ResNet未来走向何方 ?

多融合和标准化的网络是深度架构未来的可见趋势 — David 9

Inception深度网络架构已经走过4个版本,AI的空前热潮,让业内期待新网络架构的心情如同当年期待Window系统版本一样。

Inception V1的想法其实很简单:一方面我们人工地调整每层卷积窗口的尺寸(真麻烦!)另一方面,我们又想让深度网络更“深”,为什么不让同一层就有各种大小卷积可以学习?

是不是轻松多了?仅仅一层block就包含1*1卷积,3*3卷积,5*5卷积,3*3池化。

这样,网络中每一层都能学习到“稀疏”或者“不稀疏”的特征:

另外,Inception V1开创了两个变化:

1. 以前每一层线性卷积需要之后跟一个Relu激活函数或者pooling层增加非线性。而Inception V1直接通过DepthConcat在每个block后合成特征,获得非线性属性。 继续阅读#Inception深度网络家族盘点 | Inception v4 和Inception-ResNet未来走向何方 ?

聊一聊Vicarious发表在Science的那篇生成视觉模型,被LeCun痛批的递归皮质网络RCN

自己吹得牛逼,硬着头皮也要实现

Vicarious是和Deepmind对标的以强人工智能为目标的美国AI新兴公司。有意思的是,虽然融了上亿美元,除了工业机器人,Vicarious并没有像Deepmind的AlphaGo类似接地气的夺目产品。之前饱受争议,终于在近期公开的递归皮质网络RCN还被LeCun痛批了一回。RCN号称攻破了人类的CAPTCHA验证码自动识别,达到了神经网络300倍的数据利用率:

首先我们来看一下Yann LeCun早在2013年批评的理由: 继续阅读聊一聊Vicarious发表在Science的那篇生成视觉模型,被LeCun痛批的递归皮质网络RCN

#让AI替你写代码, pix2code: 从图片生成前端代码, 用CNN+LSTM构建端到端网络

将来, AI会替你完成一部分项目代码, 也许就从简单的前端代码开始 — David 9

不久前Uizard 放出一篇有意思的论文(详见youtube上demo), 目标很简单: 试图从设计原型图直接生成源代码, 为了证实可行性, 文章的做法是, 首先从原型图生成DSL(领域专用语言):

来自: https://arxiv.org/pdf/1705.07962.pdf

左边是设计原型图, 右边是对应的DSL, 是描述了GUI的格式化语言. 如: 第一行有一个label和一个switch按钮.

剩下的只要把DSL语言编程成源代码即可 .

cd compiler

# compile .gui file to Android XML UI
./android-compiler.py <input file path>.gui

# compile .gui file to iOS Storyboard
./ios-compiler.py <input file path>.gui

# compile .gui file to HTML/CSS (Bootstrap style)
./web-compiler.py <input file path>.gui

最吸引David 9的, 其实是作者结合CNN与LSTM的方法. 我们知道, CNN擅长抽取图片特征, 而RNN擅长学习文本和序列规律, 只要把这两组”上下文”集成起来, 我们就有信心知道一张设计原型图的”语义”, 每个语义对应一个DSL, 最后根据DSL生成源代码即可.

来看看文章中的做法: 继续阅读#让AI替你写代码, pix2code: 从图片生成前端代码, 用CNN+LSTM构建端到端网络

独家 | GAN大盘点,聊聊这些年的生成对抗网络 : LSGAN, WGAN, CGAN, infoGAN, EBGAN, BEGAN, VAE

训练”稳定”,样本的”多样性”和”清晰度”似乎是GAN的 3大指标 — David 9

VAE与GAN

聊到随机样本生成, 不得不提VAEGAN, VAE用KL-divergence和encoder-decoder的方式逼近真实分布. 但这些年GAN因其”端到端”灵活性和隐式的目标函数得到广泛青睐. 而且, GAN更倾向于生成清晰的图像:

VAE与GAN生成对比

GAN在10次Epoch后就可以生成较清晰的样本, 而VAE的生成样本依旧比较模糊. 所以GAN大盘点前, 我们先比较一下VAE与GAN的结构差别:

VAE与GAN结构比较

VAE训练完全依靠一个假设的loss函数和KL-divergence逼近真实分布:

GAN则没有假设单个loss函数, 而是让判别器D生成器G之间进行一种零和博弈, 继续阅读独家 | GAN大盘点,聊聊这些年的生成对抗网络 : LSGAN, WGAN, CGAN, infoGAN, EBGAN, BEGAN, VAE

IJCAI 2017精选之”BabelNet”: WordNet与维基百科的混血儿, 大型国际化语义关系网

Prominent Paper Award (卓越论文奖) 是AIJ期刊评选出的六年内具有杰出影响力的论文. 今年, BabelNet当选该奖, BabelNet新的在线版更是令人影响深刻:

如上搜索”自由经济“, BabelNet不仅仅会给出”市场经济“, “市场力量“等WordNet语义聚类. 还会给出语义关系:

即, “市场经济“是一个”经济 概念 “, 是”市场“的一部分, 是一种”资本主义“. 继续阅读IJCAI 2017精选之”BabelNet”: WordNet与维基百科的混血儿, 大型国际化语义关系网