分类： TensorFlow

分布式架构就像哈姆雷特，一千个人眼中有一千种分布式方式 — David 9

对于机器学习模型，分布式大致分两类：模型分布式和数据分布式:

模型分布式非常复杂和灵活， 它把整个机器学习模型分割，分散在多个节点上，在每个节点上计算模型的各个部分， 最后把结果拼接起来。如果你造了一个并行性很高的深度网络，比如这个，那就更棒了。你只要在每个节点上，计算不同的层，最后把各个层的异步结果通过较为精妙的方式汇总起来。

而我们今天要手把手教大家的是数据分布式。模型把数据拷贝到多个节点上， 每次算Epoch迭代的时候，每个节点对于一个batch的梯度都会有一个计算值，一个batch结束后，所有节点把梯度值汇总起来（ps参数服务器的任务就是汇总所有参数更新），从而进行更新。这就会导致每个batch的计算都比非分布式方法精准。相对非分布式，并行方法下，同样的迭代次数，收敛较快。 继续阅读TensorFlow手把手入门之分布式TensorFlow — 3个关键点，把你的TensorFlow代码重构为分布式！

许多TensorFlow初学者想把自己训练的模型保存，并且还原继续训练或者用作测试。但是TensorFlow官网的介绍太不实用，网上的资料又不确定哪个是正确可行的。

今天David 9 就来带大家手把手入门亲测可用的TensorFlow保存还原模型的正确方式，使用的是网上最多的Saver的save和restore方法， 并且把关键点为大家指出。

今天介绍最为可行直接的方式来自这篇Stackoverflow：https://stackoverflow.com/questions/33759623/tensorflow-how-to-save-restore-a-model 亲测可用：

保存模型：

import tensorflow as tf

#Prepare to feed input, i.e. feed_dict and placeholders
w1 = tf.placeholder("float", name="w1")
w2 = tf.placeholder("float", name="w2")
b1= tf.Variable(2.0,name="bias")
feed_dict ={w1:4,w2:8}

#Define a test operation that we will restore
w3 = tf.add(w1,w2)
w4 = tf.multiply(w3,b1,name="op_to_restore")
sess = tf.Session()
sess.run(tf.global_variables_initializer())

#Create a saver object which will save all the variables
saver = tf.train.Saver()

#Run the operation by feeding input
print sess.run(w4,feed_dict)
#Prints 24 which is sum of (w1+w2)*b1 

#Now, save the graph
saver.save(sess, 'my_test_model',global_step=1000)

必须强调的是：这里4,5,6,11行中的name=’w1′, name=’w2′,  name=’bias’, name=’op_to_restore’ 千万不能省略，这是恢复还原模型的关键。 继续阅读TensorFlow手把手入门之 — TensorFlow保存还原模型的正确方式，Saver的save和restore方法，亲测可用