机器学习:scikit-learn 文档、深入学习机器学习的思路
一、scikit-learn 的文档查阅
- 网页访问 scikit-learn 的文档:
- scikit-learn.org —— Document —— User Guide:
- scikit-learn.org —— Document —— API
- API 下可以直接搜索某一类,然后查看其用法;
- scikit-learn 的文档相对于机器学习的教材,而不单是讲解类、函数、参数、变量等的功能及使用规则;
二、深入学习机器学习的思路
- 实际工作中,有很多时间,很重的任务都是在处理数据:预处理、特征工程、非监督学习的工作;
1)掌握数据操作的方式:数据预处理
- pandas
- 对应真实的数据,通常先使用 pandas 预处理数据,之后转成 numpy 的 array 传给 sklearn ;
- 特征工程
- 算法与特征工程的关系:算法是算法,特征工程是特征工程。好的算法没有好的特征是毫无用武之地的。只用一个人的名字做特征,什么样的算法也无法判断这个人是否患某种疾病,就算给了身高体重也没用!而只有特征没有算法也是没有意义的,面对一片数据,无从下手。
- 线性回归:可以做为特征选择的依据;
- LASSO 回归:也可以用于特征选择;
- 决策树、随机森林等算法:可以用于辨识已知特征的重要程度;
- 深度学习等方法,背后其实很大程度也是在解决特征的问题;
- 所有的非监督学习,或多或少都可以叫做在做特征工程(或者是数据的预处理);
- PCA 就是非监督算法:降维不仅仅是将高维特征映射到了低维空间,更能起到降噪的作用;
- 很多general的特征工程的思想其实隐藏在统计学中。系统学习一遍统计学,对发掘数据中的“秘密”很有帮助。毕竟,统计学的作用,就是要发掘数据中的“秘密”;
- 从某种程度上讲,各个专业领域研究的一个很重要的方向,都可以理解成在做特征工程。比如医学:研究到底哪些基因和哪些疾病相关;心理学,研究哪些大脑活动和哪些情绪相关;经济学,研究哪些社会现象,和经济表现结果相关,等等等等。
2)非监督学习、监督学习、集成学习
- 实际在一些应用上,非监督学习可能会发挥很大的作用;
- 非监督学习中,最常见的是降维、去燥;
- 集成学习在机器学习竞赛中使用很广泛,老师建议深入学习;
3)特殊领域的特殊方法
- 无论是图像、NPL(自然语言处理)、医疗成像,都有专门的算法;
- 经典算法(kNN、线性回归、多项式回归、逻辑回归、SVM、决策树、集成学习,等)是特殊领域中特殊算法的基石;
4)数学建模的方法
- PRML:《Pattern Recognition and Machine Learning》,书籍,主要讲解数学建模的方法;
- 最典型的一类数学建模方法,就是随机过程中涉及的模型。如 HMM 在语音识别中的应用,或者对时序数据的建模,等;
5)工具
- Pandas
- TensorFlow、Keras:深度学习领域的算法库;
- xgboost:集成学习算法工具;(机器学习领域,集成学习效果很好)
6)学习材料
- 数据或者教材,在数量、可选择性、质量等方面,国内的教程相差国外教程很大;
- 最好的材料都散落在互联网上,需要一点点挖掘;
- Kaggle
- Kaggle Learn 模块:https://www.kaggle.com/learn/overview
- Kaggle 的入门指导:https://www.kaggle.com/c/titanic#tutorials
- Kaggle 官方博客:http://blog.kaggle.com/
- Kaggle 论坛:https://www.kaggle.com/discussion
- Kaggle 比赛中解决问题第一名的解决方案:http://ndres.me/kaggle-past-solutions/
- 波波老师(大牛):https://www.imooc.com/t/108955
机器学习:scikit-learn 文档、深入学习机器学习的思路的更多相关文章
- webpack搭建vue项目开发环境【文档向学习】
为何有这篇文章 各个社区已经有无数篇帖子介绍如何使用webpack搭建前端项目,但无论是出于学习webpack的目的还是为了解决工作实际需要都面临着一个现实问题,那就是版本更新.别人的帖子可能刚写好版 ...
- 机器学习-scikit learn学习笔记
scikit-learn官网:http://scikit-learn.org/stable/ 通常情况下,一个学习问题会包含一组学习样本数据,计算机通过对样本数据的学习,尝试对未知数据进行预测. 学习 ...
- Unity shader 官网文档全方位学习(一)
转载:https://my.oschina.net/u/138823/blog/181131 摘要: 这篇文章主要介绍Surface Shaders基础及Examples详尽解析 What?? Sha ...
- C# 动态生成word文档 [C#学习笔记3]关于Main(string[ ] args)中args命令行参数 实现DataTables搜索框查询结果高亮显示 二维码神器QRCoder Asp.net MVC 中 CodeFirst 开发模式实例
C# 动态生成word文档 本文以一个简单的小例子,简述利用C#语言开发word表格相关的知识,仅供学习分享使用,如有不足之处,还请指正. 在工程中引用word的动态库 在项目中,点击项目名称右键-- ...
- bootstrap2文档的学习
就像刚开始的 优雅,直观,强大的前端框架,让web开发更快,更容易,bootstrap给我的感觉就是把常用的布局,组件(导航,列表,按钮,表格),还有规范化颜色等等,同时它的遍历不至于此,他还支持了自 ...
- bash帮助文档简单学习;bash手册翻译
关于bash的四种工作方式的不同,可以参考:http://feihu.me/blog/2014/env-problem-when-ssh-executing-command-on-remote/,但是 ...
- Unity shader 官网文档全方位学习(二)
摘要: 这篇文章主要介绍Lighting model及自定义Lighting model 上文咱们学了surface shader.这玩意在开始的时候啊,在定义哪个函数处理surface时用一定要指定 ...
- 使用SKlearn(Sci-Kit Learn)进行SVR模型学习
今天了解到sklearn这个库,简直太酷炫,一行代码完成机器学习. 贴一个自动生成数据,SVR进行数据拟合的代码,附带网格搜索(GridSearch, 帮助你选择合适的参数)以及模型保存.读取以及结果 ...
- 学习Java爬虫文档的学习顺序整理
1.认识正则表达式(Java语言基础) https://www.toutiao.com/i6796233686455943693/ 2.正则表达式学习之简单手机号和邮箱练习 https://www.t ...
随机推荐
- c# 类的序列化,以及嵌套问题
简单的序列化,网上很多,但是突然想到一个问题,如果一个类里用到了另一个,那么怎么办,今天试了试,只需要加上序列号标签就可以了 using System.Collections; using Syste ...
- CentOS/Linux 卸载MATLAB
rm -rf /usr/local/MATLAB/R2012arm /usr/local/bin/matlab /usr/local/bin/mcc /usr/local/bin/mex /usr/l ...
- 日志-logback
参考:http://www.importnew.com/22290.html 一 概述 1.1 LogBack.Slf4j和Log4j之间的关系 1)Slf4j(The Simple Logging ...
- jq点击切换按钮最简洁代码
<div id="swphoto"> <img src="1.jpg"> <img src="2.jpg&q ...
- 玲珑杯 第4次 String cut(暴力字符串)
题意:给你长度为n(<=100000)的字符串,问你任意删除一个字符后得到循环节最多的数量是多少 题解:最简单的想法就是枚举删除的字符,再kmp求循环节,但是时间复杂度为O(n*n)会超时 因此 ...
- div css 练习2
index.html <html xmlns="http://www.w3.org/1999/xhtml"> <head> <meta http-eq ...
- 在物理机安装CentOS6.5
这两天就要开始在用户的新服务器上部署生产环境了.之前一直都是在服务器上搭虚拟机,而在物理机上安装还是第一次. 首先是要准备启动程序.我用的U盘作为启动盘. 刻盘的操作参考 http://jingyan ...
- 利用Swoole实现PHP+websocket直播,即使通讯代码,及linux下swoole安装基本配置
swoole安装基本配置 php安装swoole 1. 下载swoole安装 wget http://pecl.php.net/get/swoole-1.9.1.tgz tar -zxvf swool ...
- java大数字操作:BigInteger,BigDecimal(浮点型)
java大数字操作: BigInteger:大数字整型的 BigDecimal(浮点型):大数字小数的,也适用大的整数 BigInteger: String num1 = "10038182 ...
- linux服务器版svn安装
1.检查svn是否安装:rpm -aq subversion2.安装命令yum -y install subversion3.建立svn版本库数据存储根目录mkdir -p /application/ ...