1. rnn.BasicLSTMCell(num_hidden) #  构造单层的lstm网络结构 参数说明:num_hidden表示隐藏层的个数 2.tf.nn.dynamic_rnn(cell, self.x, tf.float32) # 执行lstm网络,获得state和outputs 参数说明:cell表示实例化的rnn网络,self.x表示输入层,tf.float32表示类型 3. tf.expand_dim(self.w, axis=0) 对数据增加一个维度 参数说明:self.w表…

1. csv.reader(csvfile) # 进行csv文件的读取操作 参数说明:csvfile表示已经有with oepn 打开的文件 2. X.tolist() 将数据转换为列表类型 参数说明:X可以是数组类型等等 代码说明:使用的是单层的rnn网络,迭代的终止条件为,第n的100次循环的损失值未降低次数超过3次,即跳出循环 数据说明:使用的是乘客的人数,训练集和测试集的分配为0.8和0.2, train_x使用的是前5个数据,train_y使用的是从2个数据到第6个数据,以此往后类推…

问题:LSTM的输出值output和state是否是一样的 1. rnn.LSTMCell(num_hidden, reuse=tf.get_variable_scope().reuse)  # 构建单层的LSTM网络 参数说明:num_hidden表示隐藏层的个数,reuse表示LSTM的参数进行复用 2.rnn.DropoutWrapper(cell, output_keep_prob=keep_prob) # 表示对rnn的输出层进行dropout 参数说明:cell表示单层的lstm,o…

1. tf.reuse_default_graph() # 对graph结构图进行清除和重置操作 2.tf.summary.FileWriter(path)构造writer实例化,以便进行后续的graph写入 参数说明:path表示路径 3.writer.add_graph(sess.graph) 将当前参数的graph写入到tensorboard中 参数说明:sess.graph当前的网络结构图 4. summ = tf.summary.merge_all() # 将所有的summary都添加…

卷积神经网络:下面要说的这个网络,由下面三层所组成 卷积网络:卷积层 + 激活层relu+ 池化层max_pool组成 神经网络:线性变化 + 激活层relu 神经网络: 线性变化(获得得分值) 代码说明: 代码主要有三部分组成 第一部分: 数据读入 第二部分:模型的构建,用于生成loss和梯度值 第三部分:将数据和模型输入,使用batch_size数据进行模型参数的训练 第一部分:数据读入 第一步:输入文件的地址 第二步: 创建列表,用于文件数据的保存 第三步:使用pickle.load进行数…

卷积神经网络的应用:卷积神经网络使用卷积提取图像的特征来进行图像的分类和识别       分类                        相似图像搜索                                  目标识别                               语义分割 卷积神经网络与神经网络的形状对比, 卷积是有厚度的 卷积在提取特征时的图像变化,从刚开始较低水平的特征图,到最后较高水平的特征图的变化,原先提取的是图片的特征,后面提取到的是一些高级的分类特征 1.…

1. tf.nn.conv2d(x, w, strides=[1, 1, 1, 1], padding='SAME')  # 对数据进行卷积操作 参数说明:x表示输入数据,w表示卷积核, strides表示步长,分别表示为样本数,长,宽,通道数,padding表示补零操作 2. tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')  # 对数据进行池化操作 参数说明:x表示输入数据,ksize表示卷…

使用tensorflow构造神经网络用来进行mnist数据集的分类 相比与上一节讲到的逻辑回归,神经网络比逻辑回归多了隐藏层,同时在每一个线性变化后添加了relu作为激活函数, 神经网络使用的损失值为softmax概率损失值,即为交叉熵损失值 代码:使用的是mnist数据集作为分类的测试数据,数据的维度为50000*784 第一步:载入mnist数据集 第二步:超参数的设置,输入图片的大小,分类的类别数,迭代的次数,每一个batch的大小 第三步:使用tf.placeholder() 进行输入数…

横1. np.concatenate(list, axis=0) 将数据进行串接,这里主要是可以将列表进行x轴获得y轴的串接 参数说明:list表示需要串接的列表,axis=0,表示从上到下进行串接 2.np.hstack(list)  将列表进行横向排列 参数说明:list.append([1, 2]), list.append([3, 4])  np.hstack(list) , list等于[1, 2, 3, 4] 3. hasattr(optim, 'sgd') 判断optim.py中是…

1.cv2.resize(image, (image_size, image_size), 0, 0, cv2.INTER_LINEAR) 参数说明:image表示输入图片,image_size表示变化后的图片大小,0, 0表示dx和dy, cv2.INTER_LINEAR表示插值的方式为线性插值 2.image.get_shape[1:4].num_elements() 获得最后三个维度的大小之和 参数说明:image表示输入的图片 3. saver.save(sess, path, glob…

1.tf.nn.lrn(pool_h1, 4, bias=1.0, alpha=0.001/9.0, beta=0.75) # 局部响应归一化,使用相同位置的前后的filter进行响应归一化操作 参数说明:pool_h1表示输入数据,4表示使用前后几层进行归一化操作,bias表示偏移量,alpha和beta表示系数 局部响应的公式 针对上述公式,做了一个试验代码: # 自己编写的代码, 对x的[1, 1, 1, 1]进行局部响应归一化操作,最后结果是相同的x = np.array([i for…

1. tf.nn.moments(x, axes=[0, 1, 2])  # 对前三个维度求平均值和标准差,结果为最后一个维度,即对每个feature_map求平均值和标准差 参数说明:x为输入的feature_map, axes=[0, 1, 2] 对三个维度求平均,即每一个feature_map都获得一个平均值和标准差 2.with tf.control_dependencies([train_mean, train_var]): 即执行with里面的操作时,会先执行train_mean 和…

1. sys.argv[1:]  # 在控制台进行参数的输入时,只使用第二个参数以后的数据 参数说明:控制台的输入:python test.py what, 使用sys.argv[1:],那么将获得what这个数值 # test.py import sys print(sys.argv[1:]) 2. tf.split(value=x, num_or_size_split=2, axis=3) # 对数据进行切分操作,比如原始维度为[1, 227, 227, 96], 切分后的维度为[2, 1,…

空洞卷积, 从图中可以看出,对于一个3*3的卷积,可以通过使用增加卷积的空洞的个数,来获得较大的感受眼, 从第一幅图中可以看出3*3的卷积,可以通过补零的方式,变成7*7的感受眼,这里补零的个数为1,即dilated等于2 空洞卷积在语义分割中的使用较多,因为涉及到向下卷积和向上卷积,为了不使用padding降低图片的维度,造成feature_map的信息损失,同时又可以在一定程度上增加感受眼.使用了这种空洞卷积的方式,增加感受眼,在语义分割中的使用方法是:使用多个不同尺度的空洞卷积,将最后的结…

反卷积操作: 首先对需要进行维度扩张的feature_map 进行补零操作,然后使用3*3的卷积核,进行卷积操作,使得其维度进行扩张,图中可以看出,2*2的feature经过卷积变成了4*4.    3*3的卷积经过扩张以后形成了5*5                          feature_map为偶数                                              feature_map为偶数 代码:主函数 with tf.variable_scope('…

1. batch_normalize(归一化操作),公式:传统的归一化公式 (number - mean) / std, mean表示均值, std表示标准差 而此时的公式是 scale * (num - mean) / std + beta  #scale 和 beta在计算的过程中会进行不断的更新,以使得数据可以产生多样性的分步 即 经过一次卷积层后,进行一次归一化操作,同时进行一次激活操作 x = conv_layer(x, [5, 5, 3, 64], 1) x = batch_norm…

1. tf.matmul(X, w) # 进行点乘操作 参数说明:X,w都表示输入的数据, 2.tf.equal(x, y) # 比较两个数据对应位置的数是否相等,返回值为True,或者False 参数说明:x,y表示需要比较的两组数 3.tf.cast(y, 'float') # 将布尔类型转换为数字类型 参数说明:y表示输入的数据,‘float’表示转换的数据类型 4.tf.argmax(y, 1) # 返回每一行的最大值的索引 参数说明:y表示输入数据,1表示每一行的最大值的索引,0表示每…

1. tf.nn.embedding_lookup(W, X) W的维度为[len(vocabulary_list), 128], X的维度为[?, 8],组合后的维度为[?, 8, 128] 代码说明一下:即根据每一行X中的一个数,从W中取出对应行的128个数据,比如X[1, 3]个数据是3062,即从W中的第3062行取出128个数据 import numpy as np import tensorflow as tf data = np.array([[2, 1], [3, 4], [5,…

1.tf.train.batch(image, batch_size=batch_size, num_threads=1) # 获取一个batch的数据 参数说明:image表示输入图片,batch_size表示一个batch的大小,num_threads表示使用几个线程进行执行 import tensorflow as tf import numpy as np def generate_data(): num = 25 label = np.asarray(range(0, num)) im…

1. 配套使用: tf.train.Examples将数据转换为二进制,提升IO效率和方便管理 对于int类型 : tf.train.Examples(features=tf.train.Features(feature=tf.train.Feature(int64_list=tf.train.Int64List(value=[value])))) 对于bytes类型: tf.train.Examples(features=tf.train.Features(feature=tf.train.F…

1. np.c[a, b]  将列表或者数据进行合并,我们也可以使用np.concatenate 参数说明:a和b表示输入的列表数据 2.np.linspace(0, 1, N) # 将0和1之间的数分成N份 参数说明:0表示起始数据,1表示末尾数据,N表示生成的分数 3.xx, yy = np.meshgrid(np.arange(x.min(), x.max(), N), np.arange(y.min(), y.max(), N))  对数据进行切分后,生成二维数据点 参数说明:np.ar…

神经网络构架:主要时表示神经网络的组成,即中间隐藏层的结构 对图片进行说明:我们可以看出图中的层数分布: input layer表示输入层,维度(N_num, input_dim)  N_num表示输入层的样本个数, input_dim表示输入层的维度, 即变量的个数 hidden layer1 表示第一个隐藏层,维度(input_dim, hidden_dim1input_dim表示输入层的维度,hidden_dim1示隐藏层的维度 hidden layer2 表示第二个隐藏层,维度(hidd…

神经网络由各个部分组成 1.得分函数:在进行输出时,对于每一个类别都会输入一个得分值,使用这些得分值可以用来构造出每一个类别的概率值,也可以使用softmax构造类别的概率值,从而构造出loss值, 得分函数表示最后一层的输出结果,得分函数的维度对应着样本的个数和标签的类别数 得分结果的实例说明:一个输入样本的特征值Xi 1*4, w表示权重参数3*4,这里使用的是全连接y = w * x.T,输出结果为3*1, 这3个结果分别表示3种标签的得分值 代码说明: out = np.dot(x_ro…

对于神经网络而言,每一个样本的输入与输入直接都是独立的,即预测的结果之间并没有联系 而对于RNN而言:不仅仅是有当前的输入,而且上一层的隐藏层也将进行输入,用于进行结果的预测.因此每一个输入都与之前的输入可以通过隐藏层的输入而产生联系. 这种特性在自然语言的处理中使用较广,即当前输入预测下一个词,与上一层隐藏层的传入有关 RNN的前向传播 比如预测ot结果,即输入xt,预测下一个词的结果即为ot, st表示的是当前隐藏层的个数,V表示将st进行np.argmax求得预测类别, 使用softmax…

对于图像的目标检测任务:通常分为目标的类别检测和目标的位置检测 目标的类别检测使用的指标:准确率, 预测的结果是类别值,即cat 目标的位置检测使用的指标:欧式距离,预测的结果是(x, y, w, h) x和y表示的是左上角的位置,w和h表示的是矩形框的宽和高 目标检测是分类和回归都进行的一种算法 对于位置的回归而言,使用全连接层获得结果的4个输出,使用欧式距离计算损失值 对图像物体进行卷积,对卷积后的特征图分开进行计算,一条通路计算回归,一条通路计算分类 目标检测的实际操作步骤: 第一步:下载…

1.AlexNet是2012年最早的第一代神经网络,整个神经网络的构架是8层的网络结构.网络刚开始使用11*11获得较大的感受野,随后使用5*5和3*3做特征的提取,最后使用3个全连接层做得分值得运算,使用的是softmax分类器 2. VGG-net,网络的特点是全部使用3*3的卷积,通常有两个版本一个是16-VGG和19-VGG,每一进行完一次maxpool,都进行一次维度的提升,为了减少由于降维压缩而导致的信息损失.最后使用3个全连接层进行得分值得预测,使用的是softmax计算损失值…

1. 使用tf.random_normal([2, 3], mean=-1, stddev=4) 创建一个正态分布的随机数 参数说明:[2, 3]表示随机数的维度,mean表示平均值,stddev表示标准差 代码:生成一个随机分布的值 #1. 创建一个正态分布的随机数 sess = tf.Session() x = tf.random_normal([2, 3], mean=-1, stddev=4) print(sess.run(x)) 2. np.random.shuffle(y) # 对数…

LSTM网络是有LSTM每个单元所串接而成的, 从下面可以看出RNN与LSTM网络的差异, LSTM主要有控制门单元和输出门单元组成 控制门单元又是由遗忘门单元和记忆门单元的加和组成. 1.控制门单元, 与最后的输出层做相乘操作,决定什么样的信息会被保留 2.遗忘门单元:上一层的控制门单元Ct-1直接与ft进行相乘操作,决定什么样的信息会被遗弃 3.记忆门单元: 将输入的结果it 与 新数据形成的控制参数,进行相乘操作,决定什么样的数据会被保留 4.控制门单元的更新操作Ct, 即将记忆门单元和遗…

代码:使用tensorflow进行数据点的线性拟合操作 第一步:使用np.random.normal生成正态分布的数据 第二步:将数据分为X_data 和 y_data 第三步:对参数W和b, 使用tf.Variable()进行初始化,对于参数W,使用tf.random_normal([1], -1.0, 1.0)构造初始值,对于参数b,使用tf.zeros([1]) 构造初始值 第四步:使用W * X_data + b 构造出预测值y_pred 第五步:使用均分误差来表示loss损失值,即tf…

1.tf.Variable([[1, 2]])  # 创建一个变量 参数说明:[[1, 2]] 表示输入的数据,为一行二列的数据 2.tf.global_variables_initializer() 进行变量全局的初始化操作 参数说明:如果代码中存在变量,那么一定需要进行初始化操作 3.tf.matmul(w, x) # 进行数据的点乘操作 参数说明:w,x表示需要进行点乘的矩阵 4.sess = tf.Session() 执行操作的函数 参数说明:通常使用sess.run() 进行参数的执行…