分类： 无监督

“不变信息聚类”：满足你对无监督深度聚类的一点幻想，Invarient Information Clustering 深度网络 @牛津大学

人类是如此擅长“无监督”，以至于我们经常用肤浅的认知作出荒谬的结论 — David 9

人类擅长“无监督”，往往是因为“滥用”过往的经验妄下结论; 而AI模型的“无监督”，是对数据“妄下”的结论。自从有了深度网络的“大锤”，曾经传统聚类的钉子（k-means, 谱聚类等）似乎都被敲了一遍。

图像聚类和图像分割的无监督，来自：https://arxiv.org/pdf/1807.06653.pdf

而强行结合传统聚类的深度学习方法，缺乏语义过滤，谁能保证选取的特征都是对聚类任务有意义的？（回过头还得做PCA和白化）

别忘了，人类妄下的结论，都是有语义因果（我们有内在逻辑）。而机器对数据妄下的结论，缺乏因果联系。

为了摒弃传统聚类和神经网络的强拼硬凑，IIC（不变信息聚类）被提出 。IIC没有用传统聚类，而是对CNN稍作改动，用互信息最大化目标函数和双输入（two head）CNN的架构：

IIC架构，来自：https://arxiv.org/pdf/1807.06653.pdf

重要的地方有3点，

一， CNN网络用了双输入（不要误以为用了两个CNN，注意虚线部分是共享权重的）。为了做到无监督，模型每拿到一张图片x，都对这张图片做一次转换操作（平移、旋转或crop）得到另一张图片x’ 。因此，训练时是两次正向传播 + 一次反向传播的模式，把x，x’两张图片的两个输出z，z’一次性得到再做loss计算。

继续阅读“不变信息聚类”：满足你对无监督深度聚类的一点幻想，Invarient Information Clustering 深度网络 @牛津大学

CVPR2018精选#1: 无监督且多态的图片样式转换技术，康奈尔大学与英伟达新作MUNIT及其源码

所谓无监督学习，只是人类加入了约束和先验逻辑的无监督 — David 9

更新：有同学发现这篇文章可能并没有在CVPR2018最终录取名单（只是投稿），最终录取名单参考可以看下面链接：

https://github.com/amusi/daily-paper-computer-vision/blob/master/2018/cvpr2018-paper-list.csv

最近图片生成领域正刮着一股“无监督”之风，David 9今天讲Cornell大学与英伟达的新作，正是使无监督可以生成“多态”图片的技术，论文名：Multimodal Unsupervised Image-to-Image Translation （MUNIT）。

这股“无监督”之风的刮起，只是因为我们发现用GAN结合一些人为约束和先验逻辑，训练时无需监督图片配对，直接在domain1和domain2中随机抽一些图片训练，即可得到样式转换模型。这些约束和先验有许多做法，可以迫使样式转换模型（从domain1到domain2）保留domain1的一些语义特征；也可以像CycleGAN的循环一致约束，如果一张图片x从domain1转换到domain2变为y，那么把y再从domain2转换回domain1变为x2时，x应该和x2非常相似和一致：

来自CycleGAN：https://arxiv.org/pdf/1703.10593.pdf

而这些无监督方法有一个缺陷：不能生成多样（多态）的图片。MUNIT正是为了解决这一问题提出的，因为目前类似BicycleGAN的多态图片生成方法都需要配对监督学习。

MUNIT为此做了一些约束和假设，如，假设图片有两部分信息：内容c和样式s，另外，图片样式转换时domain1和domain2是共享内容c的信息空间的：

MUNIT的自编码器

生成图片时，把同一个内容c和不同样式s组合并编码输出，就可生成多态的图片：

来自：https://arxiv.org/pdf/1804.04732.pdf

实际训练时，我们需要两个自编码器，分别对应domain1和domain2： 继续阅读CVPR2018精选#1: 无监督且多态的图片样式转换技术，康奈尔大学与英伟达新作MUNIT及其源码