许久没有更新重新拾起,献于小白 这次介绍的是强化学习 Q-learning,Q-learning也是离线学习的一种 关于Q-learning的算法详情看 传送门 下文中我们会用openai gym来做演示 q-learning的伪代码先看这部分,很重要 简单的算法语言描述就是 开始执行任务: 随机选择一个初始动作 执行这些动作 若未达到目标状态,则执行一下几步 在当前状态s所有可能的行为中选择一个a 利用a得到下一个状态s_ 计算Q(s,a) (对当前的行为进行学习) 下一个状态等于当前状态 开

关于使用SGD时如何选择初始的学习率(这里SGD是指带动量的SGD,momentum=0.9): 训练一个epoch,把学习率从一个较小的值(10-8)上升到一个较大的值(10),画出学习率(取log)和经过平滑后的loss的曲线,根据曲线来选择合适的初始学习率. 从上图可以看出学习率和loss之间的关系,最曲线的最低点的学习率已经有了使loss上升的趋势,曲线的最低点不选.最低点左边的点都是可供选择的点,但是选择太小的学习率会导致收敛的速度过慢,所以根据上图我们可以选择0.01(10-2)为初

假设有这样的房间     如果将房间表示成点,然后用房间之间的连通关系表示成线,如下图所示:       这就是房间对应的图.我们首先将agent(机器人)处于任何一个位置,让他自己走动,直到走到5房间,表示成功.为了能够走出去,我们将每个节点之间设置一定的权重,能够直接到达5的边设置为100,其他不能的设置为0,这样网络的图为:       Qlearning中,最重要的就是“状态”和“动作”,状态表示处于图中的哪个节点,比如2节点,3节点等等,而动作则表示从一个节点到另一个节点的操作. 首先

欢迎大家关注腾讯云技术社区-博客园官方主页,我们将持续在博客园为大家推荐技术精品文章哦~ 作者 :董超 上一篇文章我们介绍了 MxNet 的安装,但 MxNet 有个缺点,那就是文档不太全,用起来可能是要看源代码才能理解某个方法的含义,所以今天我们就介绍一下 TensorFlow,这个由谷歌爸爸出品的深度学习框架,文档比较全-以后的我们也都使用这个框架- 0x00 概要 TensorFlow是谷歌爸爸出的一个开源机器学习框架,目前已被广泛应用,谷歌爸爸出品即使性能不是最强的(其实性能也不错),但

前言 这是<一天搞懂深度学习>的第二部分 一.选择合适的损失函数 典型的损失函数有平方误差损失函数和交叉熵损失函数. 交叉熵损失函数: 选择不同的损失函数会有不同的训练效果 二.mini-batch和epoch (1)什么是mini-batch和epoch 所谓的mini-batch指的是我们将原来的数据分成不重叠的若干个小的数据块.然后在每一个epoch里面分别的运行每个mini-batch.ecpoch的次数和mini-batch的大小可以由我们自己设置. (2)进行mini-batch和

0 - 背景 该论文是2014年CVPR的经典论文,其提出的模型称为R-CNN(Regions with Convolutional Neural Network Features),曾经是物体检测领域的state-of-art模型. 1 - 相关知识补充 1.1 - Selective Search 该算法用来产生粗选的regions区域,在我的另一篇博文Selective Search for Object Recognition(理解)中进行详细讲解. 1.2 - 无监督预训练&有监督预训

TensoFlow自动求导机制 『TensorFlow』第二弹_线性拟合&神经网络拟合_恰是故人归 下面做了三个简单尝试, 利用包含gradients.assign等tf函数直接构建图进行自动梯度下降 利用优化器计算出导数,再将导数应用到变量上 直接使用优化器不显式得到导数 更新参数必须使用assign,这也可能会涉及到控制依赖问题. # Author : Hellcat # Time : 2/20/2018 import tensorflow as tf tf.set_random_seed(

线性拟合的思路: 线性拟合代码: import tensorflow as tf import numpy as np import matplotlib.pyplot as plt #%%图形绘制 def data_show(x,y,w,b): plt.figure() plt.scatter(x,y,marker='.') plt.scatter(x,(w*x+b),marker='.') plt.show() #%%生成数据 x_data=np.random.rand(100).astyp

Step1: 目标: 使用线性模拟器模拟指定的直线:y = 0.1*x + 0.3 代码: import tensorflow as tf import numpy as np import matplotlib.pyplot as plt def show_data(x,y,w,b): ''' 绘图函数 :param x: 横坐标散点 :param y: 纵坐标散点 :param w: 权重 :param b: 偏移量 :return: 无 ''' plt.figure() plt.scatt

论文地址:<Rich feature hierarchies for accurate object detection and semantic segmentation> 论文包含两个关键:(1)使用CNN处理候选框,以便定位个分割目标.(2)当训练集较小时,有监督的预训练和特点区域的微调. 介绍 目标检测系统总概:(1)输入一张图 .(2)提取候选区域(2k左右).(3)使用CNN计算每个候选区域的特征.(4)使用class-specific linear SVMs来分类. 使用R-CN

近期在搞论文,须要用梯度下降算法求解,所以又一次整理分享在这里. 主要包含梯度介绍.公式求导.学习速率选择.代码实现. 梯度下降的性质: 1.求得的解和选取的初始点有关 2.能够保证找到局部最优解,由于梯度终于会减小为0,则步长与梯度的乘积会自己主动越来越小. 梯度简单介绍 一个多元函数的在某点的梯度方向是函数值在该点增长最快的方向.即方向导数取最大值的方向. 问题描写叙述公式求导学习率选择 如果要学习这么一个函数: 那么损失函数能够定义成: 当中X矩阵,每行表示一个数据点,theta是列向量.

随机.mini-batch.batch(见最后解释) 在每个 epoch 送入单个数据点.这被称为随机梯度下降(stochastic gradient descent).我们也可以在每个 epoch 送入一堆数据点,这被称为 mini-batch 梯度下降,或者甚至在一个 epoch 一次性送入所有的数据点,这被称为 batch 梯度下降. 转自:https://cloud.tencent.com/developer/article/1004866 TensorFlow基本使用 TensorFl

一.神经网络的实现过程 1.准备数据集,提取特征,作为输入喂给神经网络       2.搭建神经网络结构,从输入到输出       3.大量特征数据喂给 NN,迭代优化 NN 参数       4.使用训练好的模型预测和分类 二.前向传播   前向传播就是搭建模型的计算过程,可以针对一组输入给出相应的输出. 举例:假如生产一批零件, 体积为 x1, 重量为 x2, 体积和重量就是我们选择的特征,把它们喂入神经网络, 当体积和重量这组数据走过神经网络后会得到一个输出. 假如输入的特征值是:体积 0

基于R-CNN的物体检测 原文地址:http://blog.csdn.net/hjimce/article/details/50187029 作者:hjimce 一.相关理论 本篇博文主要讲解2014年CVPR上的经典paper:<Rich feature hierarchies for Accurate Object Detection and Segmentation>,这篇文章的算法思想又被称之为:R-CNN(Regions with Convolutional Neural Netwo

张量.计算图.会话 基本概念 基于Tensorflow的NN:用张量表示数据,用计算图搭建神经网络,用会话执行计算图,优化线上的权重(参数),得到模型. 张量(Tensor):张量就是多维数组(列表),用“阶”表示张量的维度. 0阶张量称作标量,表示一个单独的数: 举例 S=123 1阶张量称作向量,表示一个一维数组: 举例 V=[1,2,3] 2阶张量称作矩阵,表示一个二维数组,它可以有i行j列个元素,每个元素可以用行号和列号共同索引到: 举例 m=[[1, 2, 3], [4, 5, 6],

首先要帮Caffe甩个锅:Caffe对图像处理进行了很高明的封装,以protobuffer形式组织的搭积木式的网络构建也很灵活方便,这里的坑都是自己腿不好,走路不稳崴进去的. 1. Caffe的一个iter是一个batch,不是一个epoch. 2. 使用现有模型存档对网络进行fine_tune的时候,由于改变了输出的number,最后一层必须重新命名,目的是不复用最后一层的存档参数.和tensorflow不太一样的是,如果最后一层的参数数量不一致,训练时不会抛出异常,居然可以正常运行,然后..

不多说,直接上干货! 基于R-CNN的物体检测 原文地址:http://blog.csdn.net/hjimce/article/details/50187029 作者:hjimce 一.相关理论 本篇博文主要讲解2014年CVPR上的经典paper:<Rich feature hierarchies for Accurate Object Detection and Segmentation>,这篇文章的算法思想又被称之为:R-CNN(Regions with Convolutional N

转自:https://zhuanlan.zhihu.com/p/23006190?refer=xiaoleimlnote 前面一直在写传统机器学习.从本篇开始写一写 深度学习的内容. 可能需要一定的神经网络基础(可以参考 Neural networks and deep learning 日后可能会在专栏发布自己的中文版笔记). RCNN (论文:Rich feature hierarchies for accurate object detection and semantic segment

安装 能直接安装就再好不过 pip install xgboost 如果不能就下载之后本地安装 安装包下载地址 这里 想要啥包都有 数据集 pima-indians-diabetes.csv 文件 调查印度糖尿病人的一些数据,  最终的预测结果是是否患病 # 1. Number of times pregnant # 2. Plasma glucose concentration a 2 hours in an oral glucose tolerance test # 3. Diastolic

Task06:批量归一化和残差网络:凸优化:梯度下降 批量归一化和残差网络 对输入的标准化(浅层模型) 处理后的任意一个特征在数据集中所有样本上的均值为0.标准差为1. 标准化处理输入数据使各个特征的分布相近 批量归一化(深度模型) 利用小批量上的均值和标准差,不断调整神经网络中间输出,从而使整个神经网络在各层的中间输出的数值更稳定. ResNet: 残差网络,普通神经网络和残差网络对比,残差网络拟合的是残差,残差块通过跨层的数据通道从而能够训练出有效的深度神经网络. 稠密连接网络(DenseN

论文标题:Visualizing and Understanding Convolutional Networks 标题翻译:可视化和理解卷积网络 论文作者:Matthew D. Zeiler  Rob Fergus 论文地址:https://arxiv.org/pdf/1311.2901v3.pdf            https://arxiv.org/abs/1311.2901 参考的翻译博客:https://blog.csdn.net/kklots/article/details/17