分布式架构就像哈姆雷特，一千个人眼中有一千种分布式方式 — David 9
对于机器学习模型，分布式大致分两类：模型分布式和数据分布式:
模型分布式非常复杂和灵活， 它把整个机器学习模型分割，分散在多个节点上，在每个节点上计算模型的各个部分， 最后把结果拼接起来。如果你造了一个并行性很高的深度网络，比如这个，那就更棒了。你只要在每个节点上，计算不同的层，最后把各个层的异步结果通过较为精妙的方式汇总起来。
而我们今天要手把手教大家的是数据分布式。模型把数据拷贝到多个节点上， 每次算Epoch迭代的时候，每个节点对于一个batch的梯度都会有一个计算值，一个batch结束后，所有节点把梯度值汇总起来（ps参数服务器的任务就是汇总所有参数更新），从而进行更新。这就会导致每个batch的计算都比非分布式方法精准。相对非分布式，并行方法下，同样的迭代次数，收敛较快。 继续阅读TensorFlow手把手入门之分布式TensorFlow — 3个关键点，把你的TensorFlow代码重构为分布式！
端到端学习是那么吸引人, 因为它与理想的”自治”学习是那么近. — David 9
我们离完全”自治”的AI系统还很远很远, 没有自我采集样本的能力, 没有自己构建模型的能力, 也缺少”端到端” 学什么就像什么的灵活性. 而最近Facebook 人工智能研究所（FAIR）的研究人员公开了一个具有谈判新能力的对话智能体（dialog agents），并开源了其代码, 在”端到端” 这一方向上更进了一步:
论文地址：Deal or No Deal? End-to-End Learning for Negotiation Dialogues
开源地址：https://github.com/facebookresearch/end-to-end-negotiator
这篇文章的突破仅限于智能对话, 更像是一篇专利, 教大家如何用一堆神经网络训练一个智能对话来获得谈判最终利益. 另外值得注意的是该pytorch项目虽然开源, 但是是经过 creativecommons的NonCommercial 4.0 非商业化协议保护的, 即, 你可以研究和使用代码, 但是你不能直接用它做商业用途.
言归正传, David 9 想说的是, 这个近乎科幻的对话机器人, 其实并没有那么神奇.
首先看看Facebook一伙人怎么收集对话(dialog)数据的 :
Facebook这伙人收集的数据是从亚马逊 Mechanical Turk 交易网站上 买来的, $0.15一个对话, 总共买了5808个对话. 继续阅读业界 | 扒一扒Facebook人工智能谈判模型 — Facebook开源的”端到端”强化学习模型
AI的进步是不断为机器赋能: “深蓝”时代机器有了暴力搜索能力, “数据”时代有了依靠数据建模的能力, 甚至用GAN自动寻找目标函数. 下一个时代, 会不会是一个数据和模型泛滥, 机器自我寻找数据和创造模型的时代 ? — David 9
之前伯克利人工智能研究实验室（Berkeley Artificial Intelligence Research (BAIR) Lab）在Arxiv上放出的论文: Image-to-Image Translation with Conditional Adversarial Networks , 又把图片风格转换玩了一把:
如今, 想把GAN(生成对抗网络)训练出来并且不玩坏, 已经很了不起, 而这篇文章提出通用的框架用于”图片到图片”的风格转换. 加之投稿即将举办的cvpr 2017 , 又出自伯克利之手, 引来了不少目光.
用条件对抗网络cGAN进行图片风格转换已经不是新鲜事, 继续阅读#16 那些没被玩坏的GAN—用条件对抗网络实现”图片到图片”的通用风格转换
