引言:当两类样本线性可分时,针对我们之前学习的感知机而言,存在多个超平面能将数据分开,这里要讨论什么样的分类面最好的问题.为此,我们形式化的定义了最优分类超平面,他有两点特征:1.能将训练样本没有错误的分开:2.在样本中距离超平面最近的样本与超平面之间的距离最大. 1.没有错误的分开: 对尺度影响的消除,可以将第一行式子中的0看成1e-6这种很小的数,而后下一个是式子则是对其进行放缩到1而得到的结果. 2.如果想要距离最大,首先要知道某一个样本点到分类面的距离表达式,(在线性判别函数那章讲过)…

参见  :多变量微积分笔记2——最小二乘法…

梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以).在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法.在求解损失函数的最小值时,可以通过梯度下降法来一步步的迭代求解,得到最小化的损失函数和模型参数值.反过来,如果我们需要求解损失函数的最大值,这时就需要用梯度上升法来迭代了.在机器学习中,基于基本的梯度下降法发展了两种梯度下降方法,分别为随机梯度下降法和批量梯度下降法. 简单地说,梯…

基本的拉格朗日乘子法(又称为拉格朗日乘数法),就是求函数 f(x1,x2,...) 在 g(x1,x2,...)=C 的约束条件下的极值的方法.其主要思想是引入一个新的参数 λ (即拉格朗日乘子),将约束条件函数与原函数联系到一起,使能配成与变量数量相等的等式方程,从而求出得到原函数极值的各个变量的解.拉格朗日乘子是数学分析中同一名词的推广. 什么是拉格朗日乘数法 简单地说,拉格朗日乘数法是用来最小化或最大化多元函数的.如果有一个方程f(x,y,z),在这个方程里的变量之间不是独立的,也就是说这…

过拟合与欠拟合 我们希望机器学习得到好的模型,该模型能够从训练样本中找到一个能够适应潜在样本的普遍规律.然而,如果机器学习学的“太好”了,以至把样本的自身特点当作潜在样本的一般特性,这就使得模型的泛化能力(潜在样本的预测能力)下降,从而导致过拟合.反之,欠拟合就是学习的“太差”,连训练样本都没有学好. 欠拟合容易处理,比如在决策树中扩展分支,在神经网络中增加训练轮数,需要重点关注的是麻烦的过拟合. 当训练数据很少时,如果使用了过多的特征,将会导致过拟合: 图三是一个明显的过拟合,它使用了高阶多项…

在统计学中,线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析.这种函数是一个或多个称为回归系数的模型参数的线性组合.只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归. 模型 一元回归 以房价预测为例,假设存在这样的训练集: m2 Price 123 2250000 86 1850000 76 1280000 179 2860000 120 2050000 123 2350000 90 13…

声明:本博客整理自博友@zhouyong计算广告与机器学习-技术共享平台,尊重原创,欢迎感兴趣的博友查看原文. 符号定义 这里定义<深入浅出ML>系列中涉及到的公式符号,如无特殊说明,符号含义均按下述定义解释: 符号 含义 \(x_j\) 第\(j\)维特征 \(x\) 一条样本中的特征向量,\(x=(1, x_1, x_2, \cdots, x_n)\) \(x^{(i)}\) 第\(i\)条样本 \(x_{j}^{(i)}\) 第\(i\)条样本的第\(j\)维特征 \(y^{(i)}\)…

https://en.wikipedia.org/wiki/Least_squares 動差估計法( MM, The Method of Moment ) 最小平方法( LSQ, The Method of Least Square ) 最大概似估計法( ML, The Method of Maximum Likelihood ) https://zh.wikipedia.org/wiki/最小二乘法 https://en.wikipedia.org/wiki/Least_squares…

现在我们要预测的是未来的房价,假设选择了回归模型,使用的损失函数是: 通过梯度下降或其它方法训练出了模型函数hθ(x),当使用hθ(x)预测新数据时,发现准确率非常低,此时如何处理? 在前面的章节中我们知道,可以选择下面的一种或几种方案: 获取更多的训练样本 选择更少的特征集 增加新的特征 增加多项式特征(x1x2, x22…) 增加正则化参数λ的值 减小正则化参数λ的值 然而遗憾的是,这些方法在不同场景下的作用不同,有时毫无作用,在选择失当的时候甚至会出现反效果.当然不能凭直觉去选择改进方法,…

随机初始化 在线性回归和逻辑回归中,使用梯度下降法之前,将θ设置为0向量,有时会习惯性的将神经网络中的权重全部初始化为0,然而这在神经网络中并不适用. 以简单的三层神经网络为例,将全部权重都设置为0,如下图所示: 假设仅有一个训练数据,使用梯度下降,在第一次迭代时: 可以看到,第一次迭代的结果是:隐藏层的权重和激活值全部相等,输入层的权重相当于所有输入项放缩了相同的倍数. 在第二次迭代时: 此时,隐藏层的激活值又一次全部相等.继续迭代也会得到相同的结果,即a(2)的所有激活值和权重都一样,这显然…