TensorFlow Training 优化函数

tf.train 提供了一组帮助训练模型的类和函数。

优化器

优化器基类提供了计算渐变的方法，并将渐变应用于变量。子类的集合实现了经典的优化算法，如 GradientDescent和Adagrad。

您永远不会实例化优化器类本身，而是实例化其中一个子类。

tf.train.Optimizer
tf.train.GradientDescentOptimizer
tf.train.AdadeltaOptimizer
tf.train.AdagradOptimizer
tf.train.AdagradDAOptimizer
tf.train.MomentumOptimizer
tf.train.AdamOptimizer
tf.train.FtrlOptimizer
tf.train.ProximalGradientDescentOptimizer
tf.train.ProximalAdagradOptimizer
tf.train.RMSPropOptimizer

梯度计算

TensorFlow 提供了计算给定 TensorFlow 计算图的导数的函数，并将运算添加到图中。优化器类自动在您的关系图上计算派生，但是新的优化或专家用户的创建者可以调用下面的低级函数。

tf.gradients
tf.AggregationMethod
tf.stop_gradient
tf.hessians

梯度剪辑

TensorFlow 提供了几种操作，您可以使用它们为您的图形添加剪切功能。您可以使用这些功能执行一般的数据剪辑，但它们对于处理已推翻或消失的渐变特别有用。

tf.clip_by_value
tf.clip_by_norm
tf.clip_by_average_norm
tf.clip_by_global_norm
tf.global_norm

降低学习率

tf.train.exponential_decay
tf.train.inverse_time_decay
tf.train.natural_exp_decay
tf.train.piecewise_constant
tf.train.polynomial_decay

移动平均线

一些训练算法，例如 GradientDescent 和动量，通常会在优化过程中保持变量的移动平均值而受益。使用移动平均值进行评估通常会显著改善结果。

tf.train.ExponentialMovingAverage

协调员和 QueueRunner

有关如何使用线程和队列的操作，请参见线程和队列。有关队列 API 的文档，请参见队列。

tf.train.Coordinator
tf.train.QueueRunner
tf.train.LooperThread
tf.train.add_queue_runner
tf.train.start_queue_runners

分布式执行

分布式执行
有关如何配置分布式 TensorFlow 程序的详细信息，请参阅分布式 TensorFlow。

tf.train.Server
tf.train.Supervisor
tf.train.SessionManager
tf.train.ClusterSpec
tf.train.replica_device_setter
tf.train.MonitoredTrainingSession
tf.train.MonitoredSession
tf.train.SingularMonitoredSession
tf.train.Scaffold
tf.train.SessionCreator
tf.train.ChiefSessionCreator
tf.train.WorkerSessionCreator

从事件文件中读取摘要

有关摘要、事件文件和 TensorBoard 中的可视化的概述，请参见摘要和 TensorBoard。

tf.train.summary_iterator

Training Hooks

Hooks 是在模型的训练/评估过程中运行的工具：

tf.train.SessionRunHook
tf.train.SessionRunArgs
tf.train.SessionRunContext
tf.train.SessionRunValues
tf.train.LoggingTensorHook
tf.train.StopAtStepHook
tf.train.CheckpointSaverHook
tf.train.NewCheckpointReader
tf.train.StepCounterHook
tf.train.NanLossDuringTrainingError
tf.train.NanTensorHook
tf.train.SummarySaverHook
tf.train.GlobalStepWaiterHook
tf.train.FinalOpsHook
tf.train.FeedFnHook

Training 工具

tf.train.global_step
tf.train.basic_train_loop
tf.train.get_global_step
tf.train.assert_global_step
tf.train.write_graph