tensorflow 运行效率 GPU memory leak 问题解决

问题描述：

　　Tensorflow 训练时运行越来越慢，重启后又变好。

　　用的是Tensorflow-GPU 1.2版本，在GPU上跑，大概就是才开始训练的时候每个batch的时间很低，然后随着训练的推进，每个batch的耗时越来越长，但是当我重启后，又一切正常了？

问题查找：

　　一开始查到的原因是batch_size 和 batch_num的问题，通过python yield 数据生成器解决，确保内存每次处理的数据确定是batch_size大小，但是发现运行效率还是不高，所以查阅google的一些资料找到如下解决办法。

问题解决：

　　因为在运行时的session里定义了tf的op导致的。这样每一次迭代都会在graph里增加新的节点，导致memory leak，程序越来越慢，最后强行退出。至于在运行时程序有没有增加节点，可以在session里定义graph.finalize()锁定graph，如果跑的时候报错就证明程序在动态添加节点导致的越来越慢。

修改前代码如下：

def one_hot(labels):
    labels_num = [strnum_convert(i) for i in labels ]
    batch_size = tf.size(labels_num)
    labels = tf.expand_dims(labels_num, 1)
    indices = tf.expand_dims(tf.range(0, batch_size, 1), 1)
    concated = tf.concat([indices, labels],1)
    onehot_labels = tf.sparse_to_dense(concated, tf.stack([batch_size, 8]), 1, 0)
    #all_hot_labels = tf.reshape(onehot_labels,(1,612))
    return onehot_labels

修改后代码如下：

def one_hot(labels):
    one_hot_label = np.array([int(i == int(labels)) for i in range(8)])   
    ... ...
    return one_hot_label

大家可以看到罪魁祸首就是就是这个tf版本的one_hot操作，修改成numpy版本完美解决运行效率问题。

思考：

方法二：

　　上面问题的原因是GPU memory leak，我们也可以用的是一种曲线救国的方法；每隔1000个batch，当速度明显变慢的时候，就reset graph,然后才重新build模型，再load之前储存的参数tf.reset_default_graph()self.build_model()；

　　方法三：

我们在用tensorflow进行数据集制作的时候，发现当我运行eval()函数的时候，程序会越跑越跑慢，eval()生成的数值没有删除，然后会越占越多内存，解决办法是使用del命令就行，一般写成。

data=Var.eval()
#save data to file
del data