MIT线性代数:15.子空间的投影】的更多相关文章

概述 个人认为线性代数从三个角度,或者说三个工具来阐述了线性关系,分别是: 向量 矩阵 空间 这三个工具有各自的一套方法,而彼此之间又存在这密切的联系,通过这些抽象出来的工具可以用来干一些实际的活,最为直接的就是解方程组,进一步衍生出来最小二乘法等等. 这一部分主要讲了三个工具的各自的一些基本方法,以及用其解方程组的一套理论.另外,由于是总结,就不按照课程的顺序,而且各点之间都有穿插. 向量(Vector) 对于向量而言,大部分与中学一致,基本的就不说了,关注重点. 线性相关性 线性相关性用于描…
At the beginning, the difference between rank and dimension: rank is a property for matrix, while dimension for subspaces. So we can obtain the rank of A, which reveals dimensions of four subspaces(2 from A, 2 from AT). Important fact: The row space…
Independence: The columns of A are independent when the nullspace N (A) contains only the zero vector. Example1: 1. If three vectors are not in the same plane, they are independent. No combination of V1, V2, V3 in Figure 3.4 gives zero except 0V1 + 0…
Special Solutions: Notice what is special about s 1 and S2. They have ones and zeros in the last two components. Those components are "free" and we choose them specially. Then the first components -2 and -3 are determined by the equation Ax = 0.…
Vector Space: R1, R2, R3,R4 , .... Each space Rn consists of a whole collection of vectors. R5 contains all column vectors with five components. This is called "5-dimensional space". The great thing about linear algebra is that it deals easily w…
1. Linear Combination Two linear operations of vectors: Linear combination: 2.Geometric Explainations 2D case 3D case:for 3 vectors u,v,w,the important questions are the common answers are: 3. From Linear Equations to Linear Combinations: a.Row pictu…
1. 线性模型简介 0x1:线性模型的现实意义 在一个理想的连续世界中,任何非线性的东西都可以被线性的东西来拟合(参考Taylor Expansion公式),所以理论上线性模型可以模拟物理世界中的绝大多数现象.而且因为线性模型本质上是均值预测,而大部分事物的变化都只是围绕着均值而波动,即大数定理. 事物发展的混沌的线性过程中中存在着某种必然的联结.事物的起点,过程,高潮,衰退是一个能被推演的过程.但是其中也包含了大量的偶然性因素,很难被准确的预策,只有一个大概的近似范围.但是从另一方面来说,偶然…
线性回归, 这部分算是我最为擅长的了, 真的不吹, 6年经验, 我高中时代就已经会推导了, 当然是最最小二乘法和统计学(假设检验, 参数分布等)的角度. 后来上了大学, 又是从最小二乘和统计学角度, 最终呢, 还是从线性代数(向量投影) 和 微积分 角度 + 代码实现给整了一遍, 再后来就是ML, 撸了一遍梯度下降, 嗯, 整体感悟就是,对一个事物的认知, 需要一个时间的过程和实践. 正如古人所讲, 纸上来得终觉浅, 绝知此事要躬行. 回归模型 数据: \((y_i, X_{i1}, X_{i2…
目录 引 主要内容 的选择 数值实验 矩形框 spiral 代码 Hoffmann H. Kernel PCA for novelty detection[J]. Pattern Recognition, 2007, 40(3): 863-874. 引 Novelty Detection: 给我的感觉有点像是奇异值检测,但是又不对,训练样本应该默认是好的样本.这个检测应该就是圈个范围,告诉我们在这个范围里的数据是这个类的,外面的不是这个类的,所以论文里也称之为:one-class classif…