分类： 实战

TensorFlow如何充分使用所有CPU核数，提高TensorFlow的CPU使用率，以及Intel的MKL加速

许多朋友使用服务器时，碰巧服务器没有安装GPU或者GPU都被占满了。可是，服务器有很多CPU都是空闲的，其实，把这些CPU都充分利用起来，也可以有不错的训练效果。

但是，如果你是用CPU版的TF，有时TensorFlow并不能把所有CPU核数使用到，这时有个小技巧David 9要告诉大家：

with tf.Session(config=tf.ConfigProto(
  device_count={"CPU":12},
  inter_op_parallelism_threads=1,
  intra_op_parallelism_threads=1,
  gpu_options=gpu_options,
)) as sess:

在Session定义时，ConfigProto中可以尝试指定下面三个参数： 继续阅读TensorFlow如何充分使用所有CPU核数，提高TensorFlow的CPU使用率，以及Intel的MKL加速

迁移学习101: Transfer learning, pretrained learning, fine tuning 代码与例程分析 源码实践

目前的迁移学习太粗浅, 归因于我们对表征的理解太粗浅. 但这是一个好方向, 如果我们能从”迁移学习”上升到”继承学习”, 任何模型都是”可继承”的, 不用担心今天的模型到了明天就毫无用处, 就像人类的基因一代代地演变, 是不是会有点意思 ? — David 9

太多初学者总是混淆迁移学习和预训练模型, David 9一直想为大家区分两者, 其实迁移学习和预训练并不难区分:

  1. 把模型的所有参数保存起来, 都可以宽泛地叫做预训练, 所以预训练比迁移学习宽泛的多. 我们并不设限预训练的保存模型未来的用处 (部署 or 继续优化 or 迁移学习)
  2. 把预训练的模型用在其他应用的训练可以称为迁移学习. 

迁移学习(Transfer learning) 的原理相当简单:

如上图, 复用之前预训练的复杂深度网络(第一行大蓝框), 我们复用倒数第二层对图像的输出特征作为新的训练输入.

使用这个输入, 我们再训练一个迷你的浅层网络(第二行绿底网络), 就可以应用在其他领域. 继续阅读迁移学习101: Transfer learning, pretrained learning, fine tuning 代码与例程分析 源码实践

TensorFlow手把手入门之分布式TensorFlow — 3个关键点，把你的TensorFlow代码重构为分布式！

分布式架构就像哈姆雷特，一千个人眼中有一千种分布式方式 — David 9

对于机器学习模型，分布式大致分两类：模型分布式和数据分布式:

模型分布式非常复杂和灵活， 它把整个机器学习模型分割，分散在多个节点上，在每个节点上计算模型的各个部分， 最后把结果拼接起来。如果你造了一个并行性很高的深度网络，比如这个，那就更棒了。你只要在每个节点上，计算不同的层，最后把各个层的异步结果通过较为精妙的方式汇总起来。

而我们今天要手把手教大家的是数据分布式。模型把数据拷贝到多个节点上， 每次算Epoch迭代的时候，每个节点对于一个batch的梯度都会有一个计算值，一个batch结束后，所有节点把梯度值汇总起来（ps参数服务器的任务就是汇总所有参数更新），从而进行更新。这就会导致每个batch的计算都比非分布式方法精准。相对非分布式，并行方法下，同样的迭代次数，收敛较快。 继续阅读TensorFlow手把手入门之分布式TensorFlow — 3个关键点，把你的TensorFlow代码重构为分布式！