------------------------------------ 写在开头:此文参照莫烦python教程(墙裂推荐!!!) ------------------------------------ TensorFlow入门笔记之基础架构 1 构建简单神经网络:一维线性预测 #导入相关库 import tensorflow as tf import numpy as np #用随机数生成x x_data = np.random.rand(100).astype(np.float32) #生…

欢迎转载,但请务必注明原文出处及作者信息. @author: huangyongye @creat_date: 2017-03-09 前言: 根据我本人学习 TensorFlow 实现 LSTM 的经历,发现网上虽然也有不少教程,其中很多都是根据官方给出的例子,用多层 LSTM 来实现 PTBModel 语言模型,比如: tensorflow笔记:多层LSTM代码分析 但是感觉这些例子还是太复杂了,所以这里写了个比较简单的版本,虽然不优雅,但是还是比较容易理解. 如果你想了解 LSTM 的原理的…

name/variable_scope 的作用 欢迎转载,但请务必注明原文出处及作者信息. @author: huangyongye @creat_date: 2017-03-08 refer to: Sharing Variables name / variable_scope 详细理解请看: TensorFlow入门(七) 充分理解 name / variable_scope * 起因:在运行 RNN LSTM 实例代码的时候出现 ValueError. * 在 TensorFlow 中,经…

一.上下文管理器(context manager) 上下文管理器是实现了上下文协议的对象,主要用于资源的获取与释放.上下文协议包括__enter__.__exit__,简单说就是,具备__enter__()和__exit__()方法的类就可以实现上下文管理,做到文件的自动关闭,这样的类实例化的对象就是上下文管理器. 典型的例子就是读写文件的操作.使用open()函数打开文件,操作之后再用close()函数关闭文件.如果使用上下文管理器的的话就会简洁方便些,因为File()类内部包含有__ente…

Gokula Krishnan Santhanam认为,大部分深度学习框架都包含以下五个核心组件: 张量(Tensor) 基于张量的各种操作 计算图(Computation Graph) 自动微分(Automatic Differentiation)工具 BLAS.cuBLAS.cuDNN等拓展包 . . 一.张量的理解 本节主要参考自文章<开发丨深度学习框架太抽象?其实不外乎这五大核心组件> . 1.张量的解读 张量是所有深度学习框架中最核心的组件,因为后续的所有运算和优化算法都是基于张量进…

------------------------------------ 写在开头:此文参照莫烦python教程(墙裂推荐!!!) ------------------------------------ 循环神经网络RNN 相关名词: - LSTM:长短期记忆 - 梯度消失/梯度离散 - 梯度爆炸 - 输入控制:控制是否把当前记忆加入主线网络 - 忘记控制:控制是否暂时忘记主线网络,先看当前分线 - 输出控制: 控制输出是否要考虑要素 - 数据有顺序的/序列化 - 前面的影响后面的 RNN L…

------------------------------------ 写在开头:此文参照莫烦python教程(墙裂推荐!!!) ------------------------------------ TensorFlow之建造第一个神经网络 1 定义添加层 import tensorflow as tf def add_layer(inputs,in_size,out_size,activation_function=None): Weights = tf.Variable(tf.rand…

在逻辑回归中使用mnist数据集.导入相应的包以及数据集. import numpy as np import tensorflow as tf import matplotlib.pyplot as plt from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets('data/', one_hot=True) trainimg = mnist.train.images…

mnist的卷积神经网络例子和上一篇博文中的神经网络例子大部分是相同的.但是CNN层数要多一些,网络模型需要自己来构建. 程序比较复杂,我就分成几个部分来叙述. 首先,下载并加载数据: import tensorflow as tf import tensorflow.examples.tutorials.mnist.input_data as input_data mnist = input_data.read_data_sets("MNIST_data/", one_hot=Tru…

tensorflow提供的tf.train.ExponentialMovingAverage 类利用指数衰减维持变量的滑动平均. 当训练模型的时候,保持训练参数的滑动平均是非常有益的.评估时使用取平均后的参数有时会产生比使用最终训练好的参数值好很多的效果.方法apply()会添加被训练变量的影子副本和在影子副本中维持被训练变量的滑动平均的若干操作.该方法在创建训练模型时使用.那些保持维持滑动平均的操作(ops)一般会在每个训练步骤之后被执行.average()和average_name()方法分…