回归任务

多变量线性回归

公式

　　

　　h为假设，theta为模型参数（代表了特征的权重），x为特征的值

参数更新

　　梯度下降算法

影响梯度下降算法的因素

　　（1）加速梯度下降：通过让每一个输入值大致在相同的范围可以加速梯度下降，因为theta在x的范围比较小的时候收敛更快，

　　　　x的范围不平整时收敛慢且会发生震荡。即对变量进行标准化处理，方法为减均值，除标准差

　　　　

　　（2）学习速率：alpha太小，能收敛但速度太慢；alpha太大不能保证每一步都会使代价函数下降，且可能会导致不收敛

改善特征和假设函数的方法--多项式回归

　　（1）把多个特征混合为一个特征，如x1*x2作为一个特征

　　（2）通过对特征取平方，立方，平方根或其他形式来改变曲线的形状（此时对特征变量进行标准化处理很重要）

显式求解theta--正规方程

　　

  梯度下降 正规方程
alpha y　　 n
迭代 y n
复杂度 O(kn^2) O(n^3)
当n很大时 较快 很慢

　　正规方程可能存在不收敛的情况，比如

　　　　a.有冗余特征（特征变量之间线性相关）  b.特征太多

　　此时应该删除多余特征

　　

　　

吴恩达Machine Learning学习笔记（二）--多变量线性回归的更多相关文章

  1. 吴恩达Machine Learning学习笔记（一）

    机器学习的定义 A computer program is said to learn from experience E with respect to some class of tasks T ...

  2. 吴恩达Machine Learning学习笔记（三）--逻辑回归+正则化

    分类任务 原始方法:通过将线性回归的输出映射到0-1,设定阈值来实现分类任务 改进方法:原始方法的效果在实际应用中表现不好,因为分类任务通常不是线性函数,因此提出了逻辑回归 逻辑回归 假设表示--引入 ...

  3. 吴恩达Machine Learning学习笔记（四）--BP神经网络

    解决复杂非线性问题 BP神经网络 模型表示 theta->weights sigmoid->activation function input_layer->hidden_layer ...

  4. 吴恩达Machine Learning 第一周课堂笔记

    1.Introduction 1.1 Example        - Database mining        Large datasets from growth of automation/ ...

  5. 吴恩达课后作业学习1-week4-homework-multi-hidden-layer -2

    参考:https://blog.csdn.net/u013733326/article/details/79767169 希望大家直接到上面的网址去查看代码,下面是本人的笔记 实现多层神经网络 1.准 ...

  6. 吴恩达课后作业学习2-week1-1 初始化

    参考:https://blog.csdn.net/u013733326/article/details/79847918 希望大家直接到上面的网址去查看代码,下面是本人的笔记 初始化.正则化.梯度校验 ...

  7. 吴恩达课后作业学习2-week1-2正则化

    参考:https://blog.csdn.net/u013733326/article/details/79847918 希望大家直接到上面的网址去查看代码,下面是本人的笔记 4.正则化 1)加载数据 ...

  8. 吴恩达课后作业学习1-week4-homework-two-hidden-layer -1

    参考:https://blog.csdn.net/u013733326/article/details/79767169 希望大家直接到上面的网址去查看代码,下面是本人的笔记 两层神经网络,和吴恩达课 ...

  9. [Machine Learning]学习笔记-Logistic Regression

    [Machine Learning]学习笔记-Logistic Regression 模型-二分类任务 Logistic regression,亦称logtic regression,翻译为" ...

随机推荐

  1. 使用Seq搭建免费的日志服务

    Seq简介 Seq是老外开发的一个针对.NET平台非常友好的日志服务.支持容器部署,提供一个单用户免费的开发版本. 官网:https://datalust.co/seq 使用文档:https://do ...

  2. EventLoop-浏览器篇2

    最近又碰到了event loop问题,之前研究的实在是浅显(https://www.cnblogs.com/zx0423/p/12641637.html)所以今天主要讲述promise的链式调用,as ...

  3. Python全局变量的简单使用

    对Pyhon实现静态变量全局变量的方法详解 python不能像C++一样直接定义一个static变量或者通过extern来导入别的库的变量而实现数据共享,但是python的思想是通过模块化来解决这个问 ...

  4. express-session中的saveUninitialized和resave

    app.use(session({ name: config.session.name, secret: config.session.secret, resave: true, saveUninit ...

  5. composer源码简单分析(一)

    composer分析(一) 本文内容 基于PSR-4规范的自动加载 请结合文档和下面的代码注释 spl_autoload_register php闭包Closure简单用法(大体使用情景: 生成回调提 ...

  6. Istio可观测性

    Istio可观测性 Istio的可观测性包括metrics,日志,分布式链路跟踪以及可视化展示.下面主要介绍如何在istio中部署基于Prometheus的metrics监控,基于jaeger的链路跟 ...

  7. Tiled and Unity

    https://www.mapeditor.org https://assetstore.unity.com/packages/tools/integration/tiled-to-unity-172 ...

  8. Easy Problem（等差数列求和导公式）

    链接:https://ac.nowcoder.com/acm/contest/316/A 来源:牛客网 时间限制:C/C++ 1秒,其他语言2秒 空间限制:C/C++ 131072K,其他语言2621 ...

  9. Codeforces 1324F Maximum White Subtree DFS

    题意 给你无根一颗树,每个节点是黑色或白色.对于每一个节点,问包含该节点的权值最大的子树. 子树的权值等于子树中白点的个数减去黑点的个数. 注意,这里的子树指的是树的联通子图. 解题思路 这场就这题卡 ...

  10. Apache Nginx Tomcat

    Tomcat Tomcat:动态解析容器 处理动态请求,是编译JSP/Servlet的容器 区别: 严格意义上来说 Apache和nginx应该叫做HTTP Server tomcat是一个Appli ...