学习笔记DL005:线性相关、生成子空间,范数,特殊类型矩阵、向量
线性相关、生成子空间。
逆矩阵A⁽-1⁾存在,Ax=b 每个向量b恰好存在一个解。方程组,向量b某些值,可能不存在解,或者存在无限多个解。x、y是方程组的解,z=αx+(1-α),α取任意实数。
A列向量看作从原点(origin,元素都是零的向量)出发的不同方向,确定有多少种方法到达向量b。向量x每个元素表示沿着方向走多远。xi表示沿第i个向量方向走多远。Ax=sumixiA:,i。线性组合(linear combination)。一组向量线性组合,每个向量乘以对应标量系数的和。sumiciv⁽i⁾。一组向量的生成子空间(span)是原始向量线性组合后能抵达的点的集合。确定Ax=b是否有解,相当于确定向量b是否在A列向量的生成子空间中。A的列空间(column space)或A的值域(range)。方程Ax=b对任意向量b∈ℝ⁽m⁾都存在解,要求A列空间构成整个ℝ⁽m⁾。ℝ⁽m⁾点不在A列空间,对应b使方程没有解。矩阵A列空间是整个ℝ⁽m⁾的要求,A至少有m列,n>=m。否则,A列空间维数小于m。
列向量冗余为线性相关(linear dependence)。一组向量任意一个向量都不能表示成其他向量的线性组合,线性无关(linearly independent)。某个向量是一组向量中某些向量的线性组合,这个向量加入这组向量不会增加这组向量的生成子空间。一个矩阵列空间涵盖整个ℝ⁽m⁾,矩阵必须包含一组m个线性无关的向量。是Ax=b 对每个向量b取值都有解充分必要条件。向量集只有m个线性无关列向量,不是至少m个。不存在一个m维向量集合有多于m个彼此线性不相关列向量,一个有多于m个列向量矩阵有可能有不止一个大小为m的线性无关向量集。
矩阵可逆,要保证Ax=b 对每个b值至多有一个解。要确保矩阵至多有m个列向量。矩阵必须是一个方阵(square),m=n,且所有列向量线性无关。一个列向量线性相关方阵为奇异的(singular)。矩阵不是方阵或是奇异方阵,方程可能有解,但不能用矩阵逆求解。逆矩阵右乘AA⁽-1⁾=I。左逆、右逆相等。
范数(norm)。
衡量向量大小。L⁽p⁾:||x||p=(sumi|xi|⁽p⁾)⁽1/p⁾。p∈ℝ,p>=1。范数(L⁽p⁾范数),向量映射到非负值函数。向量x范数衡量从原点到点x距离。范数满足性质,f(x)=0=>x=0,f(x+y)<=f(x)+f(y)三解不等式(triangel inequality),∀α∈ℝ f(αx)=|α|f(x)。
p=2,L⁽2⁾范数称欧几里得范数(Euclidean norm)。表示从原点出发到向量x确定点的欧几里得距离。简化||x||,略去下标2。平方L⁽2⁾ 范数衡量向量大小,通过点积x⫟x计算。平方L⁽2⁾范数在数学、计算上比L⁽2⁾范数更方便。平方L⁽2⁾范数对x中每个元素的导数只取决对应元素。L⁽2⁾范数对每个元素的导数和整个向量相关。平方L⁽2⁾范数,在原点附近增长缓慢。
L⁽1⁾范数,在各个位置余率相同,保持简单数学形式。||x||1=sumi|xi|。机器学习问题中零和非零差异重要,用L⁽1⁾范数。当x中某个元素从0增加∊,对应L⁽1⁾范数也增加∊。向量缩放α倍不会改变该向量非零元素数目。L⁽1⁾范数常作为表示非零元素数目替代函数。
L⁽∞⁾范数,最大范数(max norm)。表示向量具有最大幅值元素绝对值,||x||₍∞₎=maxi|xi|。
Frobenius范数(Frobenius norm),衡量矩阵大小。||A||F=sqrt(sumi,jA⁽2⁾₍i,j₎)。
两个向量点积用范数表示,x⫟y=||x||2||y||2cosθ,θ表示x、y间夹角。
特殊类型矩阵、向量。
对角矩阵(diagonal matrix),只在主对角线上有非零元素,其他位置都是零。对角矩阵,当且仅当对于所有i != j,Di,j=0。单位矩阵,对角元素全部是1。
diag(v)表示对角元素由向量v中元素给定一个对角方阵。对角矩阵乘法计算高效。计算乘法diag(v)x,x中每个元素xi放大vi倍。diag(v)x=v⊙x。计算对角方阵的逆矩阵很高效。对角方阵的逆矩阵存在,当且仅当对角元素都是非零值,diag(v)⁽-1⁾=diag([1/v1,…,1/vn]⫟)。根据任意矩阵导出通用机器学习算法。通过将矩阵限制为对象矩阵,得到计算代价较低(简单扼要)算法。
并非所有对角矩阵都是方阵。长方形矩阵也有可能是对角矩阵。非方阵的对象矩阵没有逆矩阵,但有高效计算乘法。长方形对角矩阵D,乘法Dx涉及x每个元素缩放。D是瘦长型矩阵,缩放后末尾添加零。D是胖宽型矩阵,缩放后去掉最后元素。
对称(symmetric)矩阵,转置和自己相等矩阵。A=A⫟。不依赖参数顺序双参数函数生成元素,对称矩阵常出现。A是矩离度量矩阵,Ai,j表示点i到点j距离,Ai,j=Aj,i。距离函数对称。
单位向量(unit vector),具有单位范数(unit norm)向量。||x||2=1。
x⫟y=0,向量x和向量y互相正交(orthogonal)。两个向量都有非零范数,两个向量间夹角90°。ℝⁿ至多有n个范数非零向量互相正交。向量不但互相正交,且范数为1,标准正交(orthonorma)。
正交矩阵(orthogonal matrix),行向量和列向量是分别标准正交方阵。 A⫟A=AA⫟=I,A⁽-1⁾=A⫟。正交矩阵求逆计算代价小。正交矩阵行向量不仅正交,还标准正交。行向量或列向量互相正交但不标准正交矩阵,没有对应专有术语。
参考资料:
《深度学习》
欢迎推荐上海机器学习工作机会,我的微信:qingxingfengzi
我有一个微信群,欢迎一起学深度学习。
学习笔记DL005:线性相关、生成子空间,范数,特殊类型矩阵、向量的更多相关文章
- C#学习笔记——面向对象、面向组件以及类型基础
C#学习笔记——面向对象.面向组件以及类型基础 目录 一 面向对象与面向组件 二 基元类型与 new 操作 三 值类型与引用类型 四 类型转换 五 相等性与同一性 六 对象哈希码 一 面向对象与面向组 ...
- [C#] 类型学习笔记一:CLR中的类型,装箱和拆箱
在学习.NET的时候,因为一些疑问,让我打算把.NET的类型篇做一个总结.总结以三篇博文的形式呈现. 这篇博文,作为三篇博文的第一篇,主要探讨了.NET Framework中的基本类型,以及这些类型一 ...
- typescript学习笔记(一)---基础变量类型
作为一个前端开发者,学习新技术跟紧大趋势是必不可少的.随着2019年TS的大火,我打算利用一个月的时间学习这门语言.接下来的几篇文章是我学习TS的学习笔记,其中也会掺杂一些学习心得.话不多说,先从基础 ...
- Python学习笔记(二):字符串类型
在上一篇随笔(https://www.cnblogs.com/g-qiang/p/10448813.html)中,说到 Python 有六种标准数据类型,而数字类型和字符串类型又是其中基本的数据类型. ...
- EF学习笔记-2 EF之支持复杂类型的实现
使用过.NET的小伙伴们知道,在我们的实体模型中,除了一些简单模型外,还有一些复杂类型,如几个简单的类型组合而成的类型:而EF除了在实现基本的增删改查之外,也支持复杂类型的实现. 那么如何手动构造复杂 ...
- Swift学习笔记(5):集合类型
目录: 数组:Array 集合:Set 字典:Dictionary Swift提供Array(有序集合数据).Set(无序无重复集合)和Dictionary(无序键值对集合)三种基本集合类型来存储明确 ...
- Javascript学习笔记:3种检测变量类型的方法
①typeof检测变量类型 console.log(typeof 1);//number console.log(typeof "a");//string console.log( ...
- Lua 学习笔记(二)语法、类型、值
首先Lua执行的每一段代码都称之为“程序块”,一个程序块也就是一连串的语句或命令,例如一个源码文件或一行代码.Lua语句之间并不需要分隔符,如代码中的换行就不起任何作用,当然为了养成编码习惯当两条或者 ...
- C#学习笔记(十一):动态类型
C#是一门静态类型的语言,但是在C#4.0时微软引入了动态类型的概念. dynamic 关键字dynamic用来定义动态对象,我们来看一下动态类型的一些特性. 调用不同类的相同方法 我们有两个或多个不 ...
随机推荐
- C# 反射及应用
一.什么是反射 反射(Reflection)可以在运行时获 得.NET中每一个类型(包括类.结构.委托.接口和枚举等)的成员,包括方法.属性.事件,以及构造函数等.还可以获得每个成员的名称.限定符和参 ...
- Python的进程与线程--思维导图
Python的进程与线程--思维导图
- MapReduce实现Apriori算法
Apiroi算法在Hadoop MapReduce上的实现 输入格式: 一行为一个Bucket 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 34 36 38 ...
- mmap共享内存深入总结
本文写于2017-03-11,从老账号迁移到本账号,原文地址:https://www.cnblogs.com/huangweiyang/p/6534877.html 概述 mmap()系统调用在调用进 ...
- python-原始字符串,长字符串
一 长字符串 在python中要表示跨行多行的字符串,可以使用较为简单粗暴的表达-----三引号.例如: str = ”’那时我们有梦, 关于文学, 关于爱情, 关于穿越世界的旅行. 如今我们深夜饮 ...
- springmvc初始化失败问题跟踪
1.问题 访问路径http://10.118.30.52:8088/helloWorld/hello后会报404错误,原因是springmvc配置文件中的包扫描路径错误.修改配置如下: <con ...
- 6 python高级数据处理和可视化
6.2. pyplot作图 1.折线图和散点图 t = np.arange(0,4,0.1) plt.plot(t,t,'o',t,t+2,t,t**2,'o') plt.show() 2.柱线图 p ...
- WPF 系统关闭模式
WPF App.xaml中ShutdownMode的属性值 OnLastWindowClose(默认值) 最后一个窗体关闭或调用Application对象的Shutdown()方法时,应用程序关闭. ...
- npm run dev 报错 run `npm audit fix` to fix them, or `npm audit` for details
前几天写的直接运行npm run dev还是ok的,突然不行了,前面报错是css-loader没有,删除style标签上的lang='scss'就好了,先不需要这个依赖.这个先不管. 只是后面的 ru ...
- KendoUi 学习笔记(二) Grid
Kendo.ui.Grid Kendo Ui Grid控件,继承至Widget. 一.构造 allowCopy Boolen|Object (默认:false) 当他设置true, ...