许多朋友使用服务器时，碰巧服务器没有安装GPU或者GPU都被占满了。可是，服务器有很多CPU都是空闲的，其实，把这些CPU都充分利用起来，也可以有不错的训练效果。
但是，如果你是用CPU版的TF，有时TensorFlow并不能把所有CPU核数使用到，这时有个小技巧David 9要告诉大家：
with tf.Session(config=tf.ConfigProto(
device_count={"CPU":12},
inter_op_parallelism_threads=1,
intra_op_parallelism_threads=1,
gpu_options=gpu_options,
)) as sess:
在Session定义时，ConfigProto中可以尝试指定下面三个参数： 继续阅读TensorFlow如何充分使用所有CPU核数，提高TensorFlow的CPU使用率，以及Intel的MKL加速
分布式架构就像哈姆雷特，一千个人眼中有一千种分布式方式 — David 9
对于机器学习模型，分布式大致分两类：模型分布式和数据分布式:
模型分布式非常复杂和灵活， 它把整个机器学习模型分割，分散在多个节点上，在每个节点上计算模型的各个部分， 最后把结果拼接起来。如果你造了一个并行性很高的深度网络，比如这个，那就更棒了。你只要在每个节点上，计算不同的层，最后把各个层的异步结果通过较为精妙的方式汇总起来。
而我们今天要手把手教大家的是数据分布式。模型把数据拷贝到多个节点上， 每次算Epoch迭代的时候，每个节点对于一个batch的梯度都会有一个计算值，一个batch结束后，所有节点把梯度值汇总起来（ps参数服务器的任务就是汇总所有参数更新），从而进行更新。这就会导致每个batch的计算都比非分布式方法精准。相对非分布式，并行方法下，同样的迭代次数，收敛较快。 继续阅读TensorFlow手把手入门之分布式TensorFlow — 3个关键点，把你的TensorFlow代码重构为分布式！
许多TensorFlow初学者想把自己训练的模型保存，并且还原继续训练或者用作测试。但是TensorFlow官网的介绍太不实用，网上的资料又不确定哪个是正确可行的。
今天David 9 就来带大家手把手入门亲测可用的TensorFlow保存还原模型的正确方式，使用的是网上最多的Saver的save和restore方法， 并且把关键点为大家指出。
今天介绍最为可行直接的方式来自这篇Stackoverflow：https://stackoverflow.com/questions/33759623/tensorflow-how-to-save-restore-a-model 亲测可用：
保存模型：
import tensorflow as tf
#Prepare to feed input, i.e. feed_dict and placeholders
w1 = tf.placeholder("float", name="w1")
w2 = tf.placeholder("float", name="w2")
b1= tf.Variable(2.0,name="bias")
feed_dict ={w1:4,w2:8}
#Define a test operation that we will restore
w3 = tf.add(w1,w2)
w4 = tf.multiply(w3,b1,name="op_to_restore")
sess = tf.Session()
sess.run(tf.global_variables_initializer())
#Create a saver object which will save all the variables
saver = tf.train.Saver()
#Run the operation by feeding input
print sess.run(w4,feed_dict)
#Prints 24 which is sum of (w1+w2)*b1
#Now, save the graph
saver.save(sess, 'my_test_model',global_step=1000)
必须强调的是：这里4,5,6,11行中的name=’w1′, name=’w2′, name=’bias’, name=’op_to_restore’ 千万不能省略，这是恢复还原模型的关键。 继续阅读TensorFlow手把手入门之 — TensorFlow保存还原模型的正确方式，Saver的save和restore方法，亲测可用