1. Kmeans——不断松弛(?我的理解)模拟,将点集分成几堆的算法(堆数需要自己定)。
  2. 局部加权回归(LWR)——非参数学习算法,不用担心自变量幂次选择。(因此当二次欠拟合, 三次过拟合的时候不妨尝试这种办法)
  3. 逻辑回归Logistic Regression(Sigmoid)——分类问题的常用拟合函数。
    1. 对于有多个类的分类问题,怎么办?(比如手写板识别,一共0~9十个类别)——转换为独热码(0100000000),计算cost function之和。
    2. 一个带Excel读取,和训练之后检测的分类问题模板(以建模校赛2018为数据源)
    3. 简单的线性逻辑回归效果不好怎么办?(线性神经网络同理)——将数据集离散化(如分段取相同的值,1~9.9 = 5)以产生非线性,从而使结果更准确——你也可以称之为:离散数学处理
    4. sklearn中的SVR也可以用来解决回归问题
  4. 支持向量机(SVM)——另一种分类问题的常用方法。定义分界线与数据集之间的“间隔”,通过最大化间隔来产生较好的分类效果。
    1. SVM与逻辑回归分别适用的场景?
      1. SVM采用数学方法;逻辑回归采用统计方法。
      2. SVM对数据集的敏感度非常高,如果出现错误数据或噪音数据,影响非常大;逻辑回归则不敏感。
      3. 特征数量相对较少而样本充足时,尽量用SVM以获得更准确的结果;特征数量较多时,则使用LR,特征数量已经较多,线性可以很好拟合,且速度更快。
  5. Word2Vec——高级的语义分析算法,将单词转化为一个多维的向量,可以根据向量之间的关系确定单词的关系(如转换后的字词向量中:猫-鱼≈狗-小狗)。
  6. 生成学习算法——预先对于P(x|y)进行建模,增加假设条件,所需数据量更少,结果更加准确。
    1. 高斯判别分析(GDA)——假设x|y服从高斯分布。
  7. PCA + T-SNE——高维数据降维可视化方法
    1. Matlab实现Kmeans+PCA+T-SNE数据聚类降维可视化的例子
  8. 朴素贝叶斯(Naive Bayes)——何来Naive?:对于数据做了非常强的假设:各个参量之间相互独立。
  9. ERM经验风险最小化——用来估计所需训练样本个数的数量级。
  10. 贝叶斯规范化——以线性模型为例,误差函数从Σ(||y(i)-θ'x(i)||^2)变成Σ(||y(i)-θ'x(i)||^2+λ||θ||^2),即添加了对于θ模值的惩罚项,从而减少过拟合的风险。(λ的值可以通过交叉检验方法得到)。
  11. 最大期望算法(EM算法)——估计隐形变量的参数分布。

Machine Learning方法总结的更多相关文章

  1. [LNU.Machine Learning.Question.1]梯度下降方法的一些理解

    曾经学习machine learning,在regression这一节,对求解最优化问题的梯度下降方法,理解总是处于字面意义上的生吞活剥. 对梯度的概念感觉费解?到底是标量还是矢量?为什么沿着负梯度方 ...

  2. 一种压缩图片的方法---Machine learning 之 K-Means

    背景描述: RGB编码:对于一个直接用24bit表示每一个而像素的图像来说,每一个pixel使用8-bit无符号整数(0-255)来表示红or绿or蓝. 压缩目的: 将128x128大小的图片由原来的 ...

  3. machine learning(11) -- classification: advanced optimization 去求cost function最小值的方法

    其它的比gradient descent快, 在某些场合得到广泛应用的求cost function的最小值的方法 when have a large machine learning problem, ...

  4. 另一种压缩图片的方法---Machine learning 之 PCA(Principle Component Analysis)

    PCA最主要的用途是用来减少特征向量的数目,N个特征向量 减小到 K个特征向量.如果为了可视化,k可以使3 或者 2.这样可以加速算法的学习速度. PCA用来压缩图像同一有效. 具体方式以及原理在gi ...

  5. 【Machine Learning】KNN算法虹膜图片识别

    K-近邻算法虹膜图片识别实战 作者:白宁超 2017年1月3日18:26:33 摘要:随着机器学习和深度学习的热潮,各种图书层出不穷.然而多数是基础理论知识介绍,缺乏实现的深入理解.本系列文章是作者结 ...

  6. 【Machine Learning】Python开发工具:Anaconda+Sublime

    Python开发工具:Anaconda+Sublime 作者:白宁超 2016年12月23日21:24:51 摘要:随着机器学习和深度学习的热潮,各种图书层出不穷.然而多数是基础理论知识介绍,缺乏实现 ...

  7. 【Machine Learning】决策树案例:基于python的商品购买能力预测系统

    决策树在商品购买能力预测案例中的算法实现 作者:白宁超 2016年12月24日22:05:42 摘要:随着机器学习和深度学习的热潮,各种图书层出不穷.然而多数是基础理论知识介绍,缺乏实现的深入理解.本 ...

  8. 【机器学习Machine Learning】资料大全

    昨天总结了深度学习的资料,今天把机器学习的资料也总结一下(友情提示:有些网站需要"科学上网"^_^) 推荐几本好书: 1.Pattern Recognition and Machi ...

  9. [Machine Learning] Active Learning

    1. 写在前面 在机器学习(Machine learning)领域,监督学习(Supervised learning).非监督学习(Unsupervised learning)以及半监督学习(Semi ...

随机推荐

  1. OpenID Connect Core 1.0(七)使用混合流验证

    3.3 使用混合流验证(Authentication using the Hybrid Flow) 本节描述如何使用混合流执行验证.当使用混合流(Hybrid Flow)时一些令牌从授权端点返回,另一 ...

  2. 多种移动平均计算总结(MA,EMA,SMA,DMA,TMA,WMA)

    多种移动平均计算总结 股票期货里面经常会遇到这些公式,通达信,同花顺,文华,基本都有.作为一个程序员觉得网上比较的思路不清晰,在此做个总结,一目了然. 一.函数简介 MA(x,n)-移动平均,是最简单 ...

  3. HTML5之拖拽

    HTML5拖放 拖放(Drag和drop)是H5标准的组成部分 此处需具备js基础知识及其H5拖拽部分相关方法 在拖动目标上触发事件 (源元素): ondragstart - 用户开始拖动元素时触发 ...

  4. nginx 开启phpinfo

    在nginx配置文件中加 location / { //如果是资源文件,则不走phpinfo模式 if (!-e $request_filename){ ewrite ^/(.*)$ /index.p ...

  5. 初识hadoop之分布式文件系统(HDFS)

    Hadoop常用发行版: Apache Hadoop CDH  Cloudera Distributed Hadoop HDP  Hortonworks Data Platfrom 分布式文件系统(H ...

  6. Bugku一段base64

    本文转自:本文为博主原创文章,如有转载请注明出处,谢谢. https://blog.csdn.net/pdsu161530247/article/details/74640746 链接中高手给出的解题 ...

  7. PL/SQL轻量版(二)——基本语法

    一.流程控制 1.条件判断 语法: IF <布尔表达式> THEN PL/SQL 和 SQL语句 END IF; IF <布尔表达式> THEN PL/SQL 和 SQL语句 ...

  8. Oracle入门第一天(下)——数据库的管理

    一.SQL Developer的使用 常用设置,参考:https://www.cnblogs.com/biGpython/archive/2012/03/30/2424739.html https:/ ...

  9. 20155330 2016-2017-2《Java程序设计》课程总结

    20155330 2016-2017-2<Java程序设计>课程总结 目录 每周作业链接汇总 实验报告链接汇总 代码托管 课堂项目实践 课程收获与不足 问卷调查 给出你的总结中涉及到的链接 ...

  10. python 生成随机长度的字符串

    import os def randomString(n): return (''.join(map(lambda xx:(hex(ord(xx))[2:]),os.urandom(n))))[0:1 ...