tensorflow 数据读取 队列和线程 文件读取, 图片处理 问题:大文件读取,读取速度, 在tensorflow中真正的多线程 子线程读取数据 向队列放数据(如每次100个),主线程学习,不用全部数据读取后,开始学习 队列与对垒管理器,线程与协调器 tf.FIFOQueue(capacity=None,dtypes=None,name="fifo_queue") # 先进先出队列 dequeue() 出队方法 enqueue(vals,name=None) 入队方法 enqueu…

为了提高模型的泛化能力,同时也为了增大数据集,我们往往需要对数据进行augmentation,在这篇博客中,将总结一下可以对数据进行的augmentation. 1.颜色数据增强,对图像亮度.饱和度.对比度进行调整,最常见的是对亮度进行调整. 2.裁剪(crop),对图像进行随机裁剪:也可以先进行缩放,再进行裁剪. 3.反转(flip),进行水平或者垂直的反转. 4.平移变换(shift). 5.旋转/仿射变换. 6.添加噪声(noise),添加高斯噪声. 7.模糊(blur),对图像进行模糊处…

不用相当的独立功夫,不论在哪个严重的问题上都不能找出真理:谁怕用功夫,谁就无法找到真理. —— 列宁 本文主要介绍损失函数.优化器.反向传播.链式求导法则.激活函数.批归一化. 1 经典损失函数 1.1交叉熵损失函数——分类 (1)熵(Entropy) 变量的不确定性越大,熵也就越大,把它搞清楚所需要的信息量也就越大.log以2为底! H(x) = E[I(xi)] = E[ log(2,1/p(xi)) ] = -∑p(xi)log(2,p(xi)) (i=1,2,..n) (2)交叉熵(Cr…

转载来源:http://blog.csdn.net/fengbingchun/article/details/50087005 这篇文章主要是为了对深度学习(DeepLearning)有个初步了解,算是一个科普文吧,文章中去除了复杂的公式和图表,主要内容包括深度学习概念.国内外研究现状.深度学习模型结构.深度学习训练算法.深度学习的优点.深度学习已有的应用.深度学习存在的问题及未来研究方向.深度学习开源软件. 一.            深度学习概念 深度学习(Deep Learning, DL…

转自:机器学习(Machine Learning)&深度学习(Deep Learning)资料 <Brief History of Machine Learning> 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机.神经网络.决策树.SVM.Adaboost到随机森林.Deep Learning. <Deep Learning in Neural Networks: An Overview> 介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最…

在实现网络爬虫的过程中,验证码的出现总是会阻碍爬虫的工作.本期介绍一种利用深度神经网络来实现的端到端的验证码识别方法.通过本方法,可以在不切割图片.不做模板匹配的情况下实现精度超过90%的识别结果. 本文分为两个部分,第一个部分介绍如何利用深度神经网络实现验证码的训练和识别,第二个部分介绍在实现过程中需要克服的工程问题. 一. 基于深度神经网络的验证码识别 验证码的识别是从图片到文字的过程.传统的算法如OCR正是为了解决此类问题而设计的.然而,在真实情形中,验证码通常并不以规则的文字出现,即文字…

基准数据集 深度学习中经常会使用一些基准数据集进行一些测试.其中 MNIST, Cifar 10, cifar100, Fashion-MNIST 数据集常常被人们拿来当作练手的数据集.为了方便,诸如 Keras.MXNet.Tensorflow 都封装了自己的基础数据集,如 MNIST.cifar 等.如果我们要在不同平台使用这些数据集,还需要了解那些框架是如何组织这些数据集的,需要花费一些不必要的时间学习它们的 API.为此,我们为何不创建属于自己的数据集呢?下面我仅仅使用了 Numpy 来…

本文转载自:https://blog.csdn.net/qq_38906523/article/details/78730158 即将进入 2018 年,随着硬件的更新换代,越来越多的机器学习从业者又开始面临选择 GPU 的难题.正如我们所知,机器学习的成功与否很大程度上取决于硬件的承载能力.在今年 5 月,我在组装自己的深度学习机器时对市面上的所有 GPU 进行了评测.而在本文中,我们将更加深入地探讨: 为什么深度学习需要使用 GPU GPU 的哪种性能指标最为重要 选购 GPU 时有哪些坑需…

转载:http://www.jianshu.com/p/b73b6953e849 该资源的github地址:Qix <Statistical foundations of machine learning> 介绍:<机器学习的统计基础>在线版,该手册希望在理论与实践之间找到平衡点,各主要内容都伴有实际例子及数据,书中的例子程序都是用R语言编写的. <A Deep Learning Tutorial: From Perceptrons to Deep Networks>…

<Brief History of Machine Learning> 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机.神经网络.决策树.SVM.Adaboost到随机森林.Deep Learning. <Deep Learning in Neural Networks: An Overview> 介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最新版本<神经网络与深度学习综述>本综述的特点是以时间排序,从1940年开始讲起,到60-80…