TensorFlow学习笔记6-数值计算


本笔记内容为“数值计算的基础知识”。内容主要参考《Deep Learning》中文版。

  • \(X\)表示训练集的矩阵,其大小为m行n列,m表示训练集的大小(size),n表示特征的个数;
  • \(y\)表示训练集对应标签,其大小为m行,m表示训练集的大小(size);
  • \(y’\)表示将测试向量\(x\)输入后得到的测试结果;

上溢与下溢、softmax函数

  • 下溢:当某数值很接近于0时,有可能被舍去为0,这时下一步计算(被0除,取0的对数等)会导致溢出的异常。
  • 上溢:当数值接近于无穷大,进一步计算可能会导致将这些大值变为非数字。
  • softmax函数常用于数值稳定:定义\(softmax(\boldsymbol{x})_ {i} = \frac{\exp(x_ {i})}{\sum_ {j=1}^n exp(x_ {j})}\),利用\(softmax(z)\)(其中\(\boldsymbol{z}=\boldsymbol{x}-\max_ {i}x_ {i}\))可以解决上溢和下溢的问题。

病态条件

  • 条件数指函数相对于输入的微小变化而变化的快慢程度。 考虑函数\(f(\boldsymbol{x})=A^{-1}\boldsymbol{x}\),当\(A \in R^{n \times n}\)有特征值分解时,
    其条件数为\[\max_ {i,j} |\frac{\lambda_ {i}}{\lambda_ {j}}|\]即最大和最小特征值的模之比。该数很大时,矩阵求逆对输入的误差特别敏感。

基于梯度的优化方法

  • 优化指改变\(x\)以最大化/最小化某个函数\(f(x)\)的任务。用最小化\(f(x)\)指代大多数问题。最大化\(f(x)\)就是最小化\(-f(x)\)。

    这里\(f(x)\)为目标函数(最小化时的\(f(x)\)也称为代价函数,损失函数或误差函数等)。当\(f(x)\)取到最小值时,\(x\)的值为\[x^{*}=\arg \min f(x)\]

  • 梯度下降
    由于\(f(x+\epsilon)=f(x)+\epsilon f'(x)\),如求出当前\(x\)对应的\(f'(x)\),则\(f(x-\epsilon\ sign(f'(x)))\)是比\(f(x)\)小的。

    \(f'(x)=0\)的点称为临界点(或驻点)。驻点一般是局部极大点局部极小点鞍点(同时存在更高和更低的相邻点,如\(f(x)=x^3\)的点\(x=0\))。

  • 多维的自变量(最常见的情况)

    注意:输入常是多维的\(x\),输出必须是一维的\(f(\boldsymbol{x})\)(,才能最小化)。

    梯度\(\nabla_ {\boldsymbol{x}}f(\boldsymbol{x})\)是一个向量,驻点是梯度向量中所有元素均为0的点

    为了最小化\(f\),需要找到使\(f\)下降最快的方向:方向导数\[\min_ {\boldsymbol{u,u^Tu=1}}u^T\nabla_ {x}f(\boldsymbol{x})=\min_ {\boldsymbol{u,u^Tu=1}}||\boldsymbol{u}||_ {2}||\nabla_ {x}f(\boldsymbol{x})||_ {2}\cos \theta
    =\min_ {\boldsymbol{u,u^Tu=1}}||\nabla_ {x}f(\boldsymbol{x})||_ {2}\cos \theta=\min_ {\boldsymbol{u}}\cos \theta\]
    这叫最速下降法,它建议\(x'=x-\epsilon\ \nabla_{x}f(x)\),其中\(\epsilon\)是学习率,即学习速度,决定了算法里的移动步长。

  • 多维\(f\)一阶导数之Jacobian矩阵:对于函数\(f:R^{m}\rightarrow R^{n}\),其Jacobian矩阵\(J \in R^ {n \times m}\)定义为\(J_ {i,j}=\frac{\partial f_ {i}}{\partial x_ {j}}\),行变y列变x。

基于二阶导数的优化方法

常用二阶导数去选择最优的步长\(\epsilon\)。

  • 一维\(f\)二阶导数之Hessian矩阵:\(H(f)(x)_ {i,j}=\frac{\partial^2 f(x)}{\partial x_i \partial x_j}\)

    由于\(\frac{\partial^2 f(x)}{\partial x_j \partial x_i}=\frac{\partial^2 f(x)}{\partial x_i \partial x_j}\),即\(H_ {i,j}=H_ {j,i}\),Hessian矩阵是实对称矩阵。故可分解为一组实特征值和特征向量的正交基。
    当\(d\)为特征向量时,对应特征值为\(\lambda = d^T Hd\)。
    函数f(x)的二阶泰勒级数展开为:\[f(x)=f(x_ {0})+(x-x_ {0})^ {T}g+\frac{1}{2}(x-x_ {0})^{T}H(x-x_ {0})\]
    其中\(g\)为梯度,代入\(x'=x_ {0}-\epsilon g\),得到\(f(x_ {0}-\epsilon g)=f(x_ {0})- \epsilon g^{T}g+\frac{1}{2}\epsilon ^2 g^T Hg\)。

    • \(g^T Hg \leq 0\)时,保证了\(f(x_ {0}-\epsilon g)<f(x_ {0})\),将使\(f\)不断下降。
    • \(g^T Hg > 0\)时,最优步长为 \(\epsilon ^* = \frac{g^T g}{g^T Hg}\),最坏时,g与H的\(\lambda_{max}\)对应的特征向量方向一致时,最优步长变为\(\frac{1}{\lambda_{max}}\)。
      Hessian矩阵的特征值决定了学习率的量级。

    如果Hessian是正定阵,则方向二阶导数在任意方向都是正的,则该临界点是一个局部极小点。如果Hessian是负定阵,则该临界点时一个局部极大点。如果至少一个负特征值一个正特征值,则是鞍点。

    如果f是正定或近似正定的二次函数,用牛顿法可以更快地跳转到极小值点:\(x^* =x_ {0}-H(f)(x_ {0})^{-1} \nabla_ {x} f(x_ {0})\)

    优化运用最成功的是凸优化,它只对凸函数适用,即Hessian处处半正定的函数,这种函数没有鞍点且全局极小点必然是全局最小点,所以表现很好。

约束优化

  • 这里理论较枯燥,直接查看机器学习里的支持向量机一节进行学习,效果拔群。

TensorFlow学习笔记6-数值计算基础的更多相关文章

  1. tensorflow学习笔记二:入门基础 好教程 可用

    http://www.cnblogs.com/denny402/p/5852083.html tensorflow学习笔记二:入门基础   TensorFlow用张量这种数据结构来表示所有的数据.用一 ...

  2. TensorFlow学习笔记4-线性代数基础

    TensorFlow学习笔记4-线性代数基础 本笔记内容为"AI深度学习".内容主要参考<Deep Learning>中文版. \(X\)表示训练集的设计矩阵,其大小为 ...

  3. Tensorflow学习笔记2019.01.22

    tensorflow学习笔记2 edit by Strangewx 2019.01.04 4.1 机器学习基础 4.1.1 一般结构: 初始化模型参数:通常随机赋值,简单模型赋值0 训练数据:一般打乱 ...

  4. tensorflow学习笔记——使用TensorFlow操作MNIST数据(2)

    tensorflow学习笔记——使用TensorFlow操作MNIST数据(1) 一:神经网络知识点整理 1.1,多层:使用多层权重,例如多层全连接方式 以下定义了三个隐藏层的全连接方式的神经网络样例 ...

  5. tensorflow学习笔记——自编码器及多层感知器

    1,自编码器简介 传统机器学习任务很大程度上依赖于好的特征工程,比如对数值型,日期时间型,种类型等特征的提取.特征工程往往是非常耗时耗力的,在图像,语音和视频中提取到有效的特征就更难了,工程师必须在这 ...

  6. TensorFlow学习笔记——LeNet-5(训练自己的数据集)

    在之前的TensorFlow学习笔记——图像识别与卷积神经网络(链接:请点击我)中了解了一下经典的卷积神经网络模型LeNet模型.那其实之前学习了别人的代码实现了LeNet网络对MNIST数据集的训练 ...

  7. tensorflow学习笔记——使用TensorFlow操作MNIST数据(1)

    续集请点击我:tensorflow学习笔记——使用TensorFlow操作MNIST数据(2) 本节开始学习使用tensorflow教程,当然从最简单的MNIST开始.这怎么说呢,就好比编程入门有He ...

  8. TensorFlow学习笔记5-概率与信息论

    TensorFlow学习笔记5-概率与信息论 本笔记内容为"概率与信息论的基础知识".内容主要参考<Deep Learning>中文版. \(X\)表示训练集的设计矩阵 ...

  9. js学习笔记:webpack基础入门(一)

    之前听说过webpack,今天想正式的接触一下,先跟着webpack的官方用户指南走: 在这里有: 如何安装webpack 如何使用webpack 如何使用loader 如何使用webpack的开发者 ...

随机推荐

  1. 划水日记之大哥带我走渗透I

    5/24/19 周五 access注入 先测试是否有漏洞 or nor and 1=1 and 1=2 2. Order by 猜字表端,发现一共有22个 3..然后使用 union select 1 ...

  2. VB里面的字体颜色

    颜色常数颜色常数 值 描述vbBlack &H0 黑色vbRed &HFF 红色vbGreen &HFF00 绿色vbYellow &HFFFF 黄色vbBlue &a ...

  3. 03python面向对象编程之Python中单下划线和双下划线的区别7

    通常Python类中会有_和__的方法,是指什么意思呢?如下: 双下划线表示内部不允许访问,一个下划线表示这样的实例变量外部是可以访问的,但是,按照约定俗成的规定,当你看到这样的变量时,意思就是,“虽 ...

  4. Linux之文件属性、权限

    Linux中的3种身份:1. owner(文件所有者) 2. group(用户组) 3. others(其他) Linux中的3中权限:1. r(可读) 2. w(可写) 3. x(可执行) * 所有 ...

  5. 为什么我选择用 flutter

    1. flutter 生成的是机器代码,他既不是 hybrid 也不是transpiler,  因此有很高的执行效率. 2. declarative ui,这不是什么新的概念,在 react vue ...

  6. java并发学习--第八章 JDK 8 中线程优化的新特性

    一.新增原子类LongAdder LongAdder是JDK8中AtomicLong的增强工具类,它与AtomicLong最大的不同就是:在多线程场景下,LongAdder中对单一的变量进行拆分成多个 ...

  7. Java数据封装成树形结构,多级

    参考地址:https://blog.csdn.net/chendu500qiang/article/details/91493147 1.实体类 @data public class PublishS ...

  8. bzoj4383 [POI2015]Pustynia 拓扑排序+差分约束+线段树优化建图

    题目传送门 https://lydsy.com/JudgeOnline/problem.php?id=4383 题解 暴力的做法显然是把所有的条件拆分以后暴力建一条有向边表示小于关系. 因为不存在零环 ...

  9. 部署至Oracle数据库的注意事项

    部署至Oracle数据库的注意事项 安装数据库之前1)检查计算机名,如果是乱码,改一下名字 2)有杀毒软件,能关则关               但是最好征求用户的同意 3)装两个一起解压databa ...

  10. linux运维、架构之路-Kubernetes离线、二进制部署集群

    一.Kubernetes对应Docker的版本支持列表 Kubernetes 1.9 <--Docker 1.11.2 to 1.13.1 and 17.03.x Kubernetes 1.8 ...