自2012年AlexNet提出以来,图像分类.目标检测等一系列领域都被卷积神经网络CNN统治着.接下来的时间里,人们不断设计新的深度学习网络模型来获得更好的训练效果.一般而言,许多网络结构的改进(例如从VGG到ResNet可以给很多不同的计算机视觉领域带来进一步性能的提高. ResNet(Residual Neural Network)由微软研究员的 Kaiming He 等四位华人提出,通过使用 Residual Uint 成功训练152层深的神经网络,在 ILSVRC 2015比赛中获得了冠

tensorflow笔记系列: (一) tensorflow笔记:流程,概念和简单代码注释 (二) tensorflow笔记:多层CNN代码分析 (三) tensorflow笔记:多层LSTM代码分析 (四) tensorflow笔记:常用函数说明 (五) tensorflow笔记:模型的保存与训练过程可视化 (六)tensorflow笔记:使用tf来实现word2vec 保存与读取模型 在使用tf来训练模型的时候,难免会出现中断的情况.这时候自然就希望能够将辛辛苦苦得到的中间参数保留下来,不然

tensorflow笔记(三)之 tensorboard的使用 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7429344.html 前言 这篇博客将介绍tensorflow当中一个非常有用的可视化工具tensorboard的使用,它将对我们分析训练效果,理解训练框架和优化算法有很大的帮助. 还记得我的第一篇tensorflow博客上的的例子吗?这篇博客会以第一篇tensorflow博客的tensorboard图为例进行展

tensorflow笔记(四)之MNIST手写识别系列一 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7436310.html 前言 这篇博客将利用神经网络去训练MNIST数据集,通过学习到的模型去分类手写数字. 我会将本篇博客的jupyter notebook放在最后,方便你下载在线调试!推荐结合官方的tensorflow教程来看这个notebook! 1. MNIST数据集的导入 这里介绍一下MNIST,MNIST是在

tensorflow笔记(五)之MNIST手写识别系列二 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7455233.html 前言 这篇博客将用tensorflow实现CNN卷积神经网络去训练MNIST数据集,并测试一下MNIST的测试集,算出精确度. 由于这一篇博客需要要有一定的基础,基础部分请看前面的tensorflow笔记,起码MNIST手写识别系列一和CNN初探要看一下,对于已经讲过的东西,不会再仔细复述,可能会

tensorflow笔记:多层LSTM代码分析 标签(空格分隔): tensorflow笔记 tensorflow笔记系列: (一) tensorflow笔记:流程,概念和简单代码注释 (二) tensorflow笔记:多层CNN代码分析 (三) tensorflow笔记:多层LSTM代码分析 (四) tensorflow笔记:常用函数说明 (五) tensorflow笔记:模型的保存与训练过程可视化 (六)tensorflow笔记:使用tf来实现word2vec 之前讲过了tensorflow

TensorFlow笔记-08-过拟合,正则化,matplotlib 区分红蓝点 首先提醒一下,第7讲的最后滑动平均的代码已经更新了,代码要比理论重要 今天是过拟合,和正则化,本篇后面可能或更有兴趣,因为涉及到可视化图形了,而不是纯数据 过拟合:神经网络模型在训练集上的准确率比较高在新的数据进行预测或分类时准确率较低,说明模型泛华能力差 正则化:在损失函数中给每个参数w加上权重,引入模型辅助度指标,从而抑制模型噪声,减小过拟合 使用正则化后,损失函数 loss 变为两项之和: loss = lo

TensorFlow笔记-07-神经网络优化-学习率,滑动平均 学习率 学习率 learning_rate: 表示了每次参数更新的幅度大小.学习率过大,会导致待优化的参数在最小值附近波动,不收敛:学习率过小,会导致待优化的参数收敛缓慢 在训练过程中,参数的更新向着损失函数梯度下降的方向 参数的更新公式为: wn+1 = wn - learning_rate▽ 假设损失函数 loss = (w + 1)2.梯度是损失函数 loss 的导数为 ▽ = 2w + 2 .如参数初值为5,学习率为 0.2

TensorFlow笔记-06-神经网络优化-损失函数,自定义损失函数,交叉熵 神经元模型:用数学公式比表示为:f(Σi xi*wi + b), f为激活函数 神经网络 是以神经元为基本单位构成的 激活函数:引入非线性激活因素,提高模型的表达能力 常用的激活函数有relu.sigmoid.tanh等 (1)激活函数relu:在Tensorflow中,用tf.nn.relu()表示 (2)激活函数sigmoid:在Tensorflow中,用tf.nn.sigmoid()表示 (3)激活函数tanh

TensorFlow笔记-05-反向传播,搭建神经网络的八股 反向传播 反向传播: 训练模型参数,在所有参数上用梯度下降,使用神经网络模型在训练数据上的损失函数最小 损失函数:(loss) 计算得到的预测值 y 与已知答案 y_ 差距 损失函数的计算有很多方法,均方误差MSE是比较常用的方法之一 关于损失函数,会在下一篇仔细讲 均方误差: 求前向传播计算结果与已知答案之差的平方再求平均 用 Tensorflow 函数表示: loss = tf.reduce_mean(tf.square(y-y_

TensorFlow笔记-04-神经网络的实现过程,前向传播 基于TensorFlow的NN:用张量表示数据,用计算图搭建神经网络,用会话执行计算图,优化线上的权重(参数),得到模型 张量(tensor):多维数组(列表) 阶:张量的维数 计算图(Graph):搭建神经网络的计算过程,只搭建,不运算 会话(Session):执行计算图中的结点运算 神经网络的参数:即计算图中的权重,也可以说是神经元(后面会提到)线上的权重,用变量表示,一般会随机生成这些参数.生成参数的方法是让 w(神经元上的线)

TensorFlow笔记-03-张量,计算图,会话 搭建你的第一个神经网络,总结搭建八股 基于TensorFlow的NN:用张量表示数据,用计算图搭建神经网络,用会话执行计算图,优化线上的权重(参数),得到模型 张量(tensor):多维数组(列表) 阶:表示张量的维数 ·· 维 数 ···· 阶 ········· 名 字 ········· 例 子 ············ ·· 0-D ······ 0 ····· 标量 scalar ···· s=1 2 3 ·· 1-D ······

人工智能实践:TensorFlow笔记-01-开篇概述 从今天开始,从零开始学习TensorFlow,有相同兴趣的同志,可以互相学习笔记,本篇是开篇介绍 Tensorflow,已经人工智能领域的一些名词介绍 人工智能实践:TensorFlow笔记-01-概述 什么是人工智能? 人工智能:机器模拟人的意识和思维 艾伦·麦席森·图灵(1912/06--1954/06),美国数学家,逻辑学家,"计算机科学之父","人工智能之父" 人工智能助理 谷歌 Assistant,微

(一) tensorflow笔记:流程,概念和简单代码注释 (二) tensorflow笔记:多层CNN代码分析 (三) tensorflow笔记:多层LSTM代码分析 (四) tensorflow笔记:常用函数说明 (五) tensorflow笔记:模型的保存与训练过程可视化 (六)tensorflow笔记:使用tf来实现word2vec 时隔若干个月,又绕到了word2vec.关于word2vec的原理我就不叙述了,具体可见word2vec中的数学,写的非常好. 我后来自己用Python实现

tensorflow笔记系列: (一) tensorflow笔记:流程,概念和简单代码注释 (二) tensorflow笔记:多层CNN代码分析 (三) tensorflow笔记:多层LSTM代码分析 (四) tensorflow笔记:常用函数说明 (五) tensorflow笔记:模型的保存与训练过程可视化 (六)tensorflow笔记:使用tf来实现word2vec 本文章内容比较繁杂,主要是一些比较常用的函数的用法,结合了网上的资料和源码,还有我自己写的示例代码.建议照着目录来看. 1.

tensorflow笔记系列: (一) tensorflow笔记:流程,概念和简单代码注释 (二) tensorflow笔记:多层CNN代码分析 (三) tensorflow笔记:多层LSTM代码分析 (四) tensorflow笔记:常用函数说明 (五) tensorflow笔记:模型的保存与训练过程可视化 (六)tensorflow笔记:使用tf来实现word2vec 在之前的tensorflow笔记:流程,概念和简单代码注释 文章中,已经大概解释了tensorflow的大概运行流程,并且提

tensorflow是google在2015年开源的深度学习框架,可以很方便的检验算法效果.这两天看了看官方的tutorial,极客学院的文档,以及综合tensorflow的源码,把自己的心得整理了一下,作为自己的备忘录. tensorflow笔记系列: (一) tensorflow笔记:流程,概念和简单代码注释 (二) tensorflow笔记:多层CNN代码分析 (三) tensorflow笔记:多层LSTM代码分析 (四) tensorflow笔记:常用函数说明 (五) tensorflo

tensorflow笔记(一)之基础知识 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7399701.html 前言 这篇notebook将一步步构建一个tensorflow的线性回归的例子,并讲述其中的一些基础知识.我会把notebook文件放在结尾的百度云链接. 首先第一步,要安装tensorflow,这个网上的教程很多,我安装的版本是ubuntu下1.2.1的tensorflow,推荐用pip(一步就好)这里附上一个

tensorflow笔记(二)之构造一个简单的神经网络 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7425200.html 前言 这篇博客将一步步构建一个tensorflow的神经网络去拟合曲线,并将误差和结果可视化.博客的末尾会放本篇博客的jupyter notebook,可以下载自己调试调试. 实践--构造神经网络 本次构造的神经网络是要拟合一个二次曲线,神经网络的输入层是一个特征,即只有一个神经元,隐藏层有10个特

操作系统学习笔记----进程/线程模型----Coursera课程笔记 进程/线程模型 0. 概述 0.1 进程模型 多道程序设计 进程的概念.进程控制块 进程状态及转换.进程队列 进程控制----进程创建.撤销.阻塞.唤醒.... 0.2 线程模型 为什么引入线程 线程的组成 线程机制的实现 用户级线程.核心级线程.混合方式 1. 进程的基本概念 1.1 多道程序设计 允许多个程序同时进入内存运行,目的是为了提高CPU系统效率 1.2 并发环境与并发程序 并发环境: 一段时间间隔内,单处理器上

TensorFlow笔记-08-过拟合,正则化,matplotlib 区分红蓝点 TensorFlow笔记-07-神经网络优化-学习率,滑动平均 TensorFlow笔记-06-神经网络优化-损失函数,自定义损失函数,交叉熵 TensorFlow笔记-05-反向传播,搭建神经网络的八股 TensorFlow笔记-04-神经网络的实现过程,前向传播 TensorFlow笔记-03-张量,计算图,会话 TensorFlow笔记-02-Windows下搭建TensorFlow环境(win版非虚拟机)