lasso:是L1正则化(绝对值) 注:坐标下降法即前向逐步线性回归 lasso算法:常用于特征选择 最小角算法,由于时间有限没有去好好研究(其实是有点复杂,尴尬)…

目录 MACD 的数学解释 MACD 的一般定义 引入延迟算子 Taylor 展开 权重分析 共振? MACD 的数学解释 MACD 的一般定义 \[ \begin{align*} DIF &= EMA(P, w_{fast}) - EMA(P,w_{slow}) \\ DEM &= EMA(DIF, w_{signal}) \\ BAR &= 2 \times (DIF - DEM) \end{align*} \] 引入延迟算子 将 \(w\) 定义为 \(EMA\) 的衰减系数…

FFT和NTT真是噩梦呢 既然被FFT和NTT坑够了,坑一下其他的人也未尝不可呢 前置知识 多项式基础知识 矩阵基础知识(之后会一直用矩阵表达) FFT:复数基础知识 NTT:模运算基础知识 单位根介绍 设有一个数a,使得an=1,其中n为满足an=1的最小正整数 满足条件的a有哪些呢? 复数域上的(cos(2π/n)+sin(2π/n)*i)(一般用ωn表示) 模运算中的原根g(mod n+1) 更宽泛地说,只要在一个集合中定义了加法和乘法,而且二者满足: 存在元素“0”,使得加上“0”的结果…

对于机器学习有兴趣,不少人应该会先从 Andrew Ng ( 吴恩达 ) 的机器学习课程开始,但是吴恩达的课程是使用 octave 这个工具当作练习.这个 github 项目包含使用 Python 实现流行机器学习算法的范例,并解释了其背后的 数学原理. 每个算法都有交互式的 Jupyter Notebook 示范,可以让你玩训练数据.算法配置,并立即在浏览器中 检视结果.图表和预测. 在大多数情况下,这些解释都是基于 Andrew Ng 的这门伟大的机器学习课程. 这个储存库的目的不是通过使用…

SVD分解 SVD分解是LSA的数学基础,本文是我的LSA学习笔记的一部分,之所以单独拿出来,是因为SVD可以说是LSA的基础,要理解LSA必须了解SVD,因此将LSA笔记的SVD一节单独作为一篇文章.本节讨论SVD分解相关数学问题,一个分为3个部分,第一部分讨论线性代数中的一些基础知识,第二部分讨论SVD矩阵分解,第三部分讨论低阶近似.本节讨论的矩阵都是实数矩阵. 基础知识 1. 矩阵的秩:矩阵的秩是矩阵中线性无关的行或列的个数 2. 对角矩阵:对角矩阵是除对角线外所有元素都为零的方阵 3.…

12.支持向量机 觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广 12.3 大间距分类背后的数学原理- Mathematics Behind Large Margin classification 向量内积 假设有两个向量\(u=\begin{bmatrix}u_1\\u_2\\ \end{bmatrix}\),向量\(v=\begin{bmatrix}v_1\\v_2\\ \end{bmatrix}\),其中向量的内积…

奇异值分解(Singular Value Decomposition,SVD)是一种矩阵分解(Matrix Decomposition)的方法.除此之外,矩阵分解还有很多方法,例如特征分解(Eigendecomposition).LU分解(LU decomposition).QR分解(QR decomposition)和极分解(Polar decomposition)等.这篇文章主要说下奇异值分解,这个方法在机器学习的一些算法里占有重要地位. 相关概念参考自维基百科. 正交矩阵:若一个方阵其行与…

实验平台:win7,VS2010 先上结果截图(文章最后下载程序,解压后直接运行BIN文件夹下的EXE程序): a.鼠标拖拽旋转物体,类似于OGRE中的“OgreBites::CameraStyle::CS_ORBIT”. b.键盘WSAD键移动镜头,鼠标拖拽改变镜头方向,类似于OGRE中的“OgreBites::CameraStyle::CS_FREELOOK”. 1.坐标变换的一个例子,两种思路理解多个变换的叠加 现在考虑Scale(1,2,1); Transtale(2,1,0); Rot…

正则化(Regularization) 机器学习中几乎都可以看到损失函数后面会添加一个额外项,常用的额外项一般有两种,一般英文称作ℓ1ℓ1-norm和ℓ2ℓ2-norm,中文称作L1正则化和L2正则化,或者L1范数和L2范数. L1正则化和L2正则化可以看做是损失函数的惩罚项.所谓『惩罚』是指对损失函数中的某些参数做一些限制.对于线性回归模型,使用L1正则化的模型建叫做Lasso回归,使用L2正则化的模型叫做Ridge回归(岭回归).下图是Python中Lasso回归的损失函数,式中加号后面一项…

搞过机器学习的同学都知道,L1正则就是绝对值的方式,而L2正则是平方和的形式.L1能产生稀疏的特征,这对大规模的机器学习灰常灰常重要.但是L1的求解过程,实在是太过蛋疼.所以即使L1能产生稀疏特征,不到万不得已,我们也还是宁可用L2正则,因为L2正则计算起来方便得多... 正则化项不应该以正则化的表面意思去理解,应该翻译为规则化才对! 一般回归分析中回归ww表示特征的系数,从上式可以看到正则化项是对系数做了处理(限制).L1正则化和L2正则化的说明如下: L1正则化是指权值向量ww中各个元素的绝…