从2016年年初,开始用python写一个简单的爬虫,帮我收集一些数据。
6月份,开始学习Machine Learning的相关知识。
9月开始学习Spark和Scala。
现在想,整理一下思路。
先感谢下我的好友王峰给我的一些建议。他在Spark和Scala上有一些经验,让我前进的速度加快了一些。

学习算法

作为一个程序猿,以前多次尝试看过一些机器学习方面的书,其过程可以说是步履阑珊,碰到的阻力很大。
主要原因是,读这些机器学习的书,需要有一些数学方面的背景。
问题就在这些数学背景上,这些背景不仅仅是数学技巧,也有一些共识。对于缺乏这些背景的我,即使一个简单的公式,也有时会感到困惑。
如果你像我一样是一个程序猿,我建议读Peter Harrington写的Machine Learning in Action (中文书名是《机器学习实战》)。
这本书是以开发者的知识背景来写的,并且提供的python代码可以下载,方便开发人员理解。

我写了一些博文,主要作用是帮助我理解学习的算法。大部分写的不好,后来我自己都看不懂。以后慢慢修正一下。
机器学习实战 - 读书笔记(03) - 决策树
机器学习实战 - 读书笔记(04) - 朴素贝叶斯
机器学习实战 - 读书笔记(05) - Logistic回归
机器学习实战 - 读书笔记(06) – SVM支持向量机
机器学习实战 - 读书笔记(07) - 利用AdaBoost元算法提高分类性能
机器学习实战 - 读书笔记(08) - 预测数值型数据:回归
机器学习实战 - 读书笔记(10) - 利用K-均值聚类算法对未标注数据分组
机器学习实战 - 读书笔记(11) - 使用Apriori算法进行关联分析
机器学习实战 - 读书笔记(12) - 使用FP-growth算法来高效发现频繁项集
机器学习实战 - 读书笔记(13) - 利用PCA来简化数据
机器学习实战 - 读书笔记(14) - 利用SVD简化数据

学习算法的Level

  • Level 1: 了解如何使用算法

  • Level 2: 了解算法的正确使用场景
    正确的使用一个算法,需要经验和对算法理论的了解。
    我以前有些这方面的经验,很多错误在于不正确地使用了算法。
    当我们编程序给别人用时:

    • 需要理解算法
      最低要求,也要有一些基本的统计知识。

    • 需要实现算法
      实现算法一般比较简单,需要注意性能和精度。
      基本上这部分在实现好后,比较稳定。

    • 需要实现将用户数据应用到算法上的过程。
      这是程序员主要干的工作,接口、性能上的考虑很多。

    • 需要理解用户的使用场景。
      这部分价值很大。
      一方面,写单元测试是不可避免的,理解用户的场景才能写出有效的单元测试程序。
      另外,会有很多处理客户问题的工作,也是长经验的机会。

  • Level 3: 了解算法的后面的数学理论
    有人觉得这个用处不大。我觉得了解数学理论,可以:

    • 成为真正的行家
    • 未来的路还很远,怎么能戛然而止!
    • 使用算法来帮助自己的一些事情,或者实现一个新的算法。
    • 现在人工智能的潜力很大,可以自己好好玩玩。

学习python

在数据量不大的情况下(几个G),单机上就可以很好跑机器学习的程序。
这时,Python的用途就很大,不仅有已经实现好的算法,也可以实现爬虫,从网上获取数据。

学习Scala和函数式编程

对于大数据处理来说,Spark和Scala结合是现在的大趋势。
我写的博文有:
学习Scala: 初学者应该了解的知识
函数式编程 : 一个程序猿进化的故事
Scala underscore的用途
不变(Invariant), 协变(Covarinat), 逆变(Contravariant) : 一个程序猿进化的故事
Scala Collection简介
Scala on Visual Studio Code

学习Spark架构

我写的博文有:
Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境
Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用
Spark集群 + Akka + Kafka + Scala 开发(3) : 开发一个Akka + Spark的应用
Spark集群 + Akka + Kafka + Scala 开发(4) : 开发一个Kafka + Spark的应用

学习在Spark上的机器学习项目开发经验

学习更多的算法

蒙特卡洛树算法

成为Spark的Contributer

成为Spark的Contributer是件很cool的事。

  • 可以读读Spark的代码,从中应该可以增长不少。
  • 然后,尝试修一些Spark的Bugs。

深度学习

路还很长。

我的Machine Learning学习之路的更多相关文章

  1. 【转载】 我的Machine Learning学习之路

    原文地址: https://www.cnblogs.com/steven-yang/p/5857964.html ------------------------------------------- ...

  2. [Machine Learning]学习笔记-Logistic Regression

    [Machine Learning]学习笔记-Logistic Regression 模型-二分类任务 Logistic regression,亦称logtic regression,翻译为" ...

  3. Machine Learning 学习笔记

    点击标题可转到相关博客. 博客专栏:机器学习 PDF 文档下载地址:Machine Learning 学习笔记 机器学习 scikit-learn 图谱 人脸表情识别常用的几个数据库 机器学习 F1- ...

  4. [Python & Machine Learning] 学习笔记之scikit-learn机器学习库

    1. scikit-learn介绍 scikit-learn是Python的一个开源机器学习模块,它建立在NumPy,SciPy和matplotlib模块之上.值得一提的是,scikit-learn最 ...

  5. Machine Learning 学习笔记1 - 基本概念以及各分类

    What is machine learning? 并没有广泛认可的定义来准确定义机器学习.以下定义均为译文,若以后有时间,将补充原英文...... 定义1.来自Arthur Samuel(上世纪50 ...

  6. Coursera 机器学习 第6章(上) Advice for Applying Machine Learning 学习笔记

    这章的内容对于设计分析假设性能有很大的帮助,如果运用的好,将会节省实验者大量时间. Machine Learning System Design6.1 Evaluating a Learning Al ...

  7. machine learning学习笔记

    看到Max Welling教授主页上有不少学习notes,收藏一下吧,其最近出版了一本书呢还,还没看过. http://www.ics.uci.edu/~welling/classnotes/clas ...

  8. [Machine Learning]学习笔记-线性回归

    模型 假定有i组输入输出数据.输入变量可以用\(x^i\)表示,输出变量可以用\(y^i\)表示,一对\(\{x^i,y^i\}\)名为训练样本(training example),它们的集合则名为训 ...

  9. 吴恩达Machine Learning学习笔记(一)

    机器学习的定义 A computer program is said to learn from experience E with respect to some class of tasks T ...

随机推荐

  1. 【cocos2d-x 手游研发----目录】

    感谢大家一直支持我写这样一系列的博客,从中我自己也获益良多,cocos2d-x这样一款非常棒的引擎,是值得我们去学习和分享的,谈到分享,那我就把这套写了差不多一两个月的框架给大家开源下载,写的很一般, ...

  2. 使用BAT批处理执行sql语句的代码

    使用BAT批处理执行sql语句的代码 有时候需要执行一些Sql语句时,不想开企业管理器,或者是发给客户执行但那边又不懂代码,这时就可以用下面方法 1.把待执行Sql保存在一个文件,这里为2011022 ...

  3. WinForm 批量设置指定控件中的控件状态

    在开发中常遇到当点击某个按钮的时候,禁用文本框或按钮的的状态,以防止误操作,下面的代码是我已批量设置指定控件中的按钮状态的代码,同理可以延伸出很多操作. /// <summary> /// ...

  4. STL容器删除元素的陷阱

    今天看Scott Meyers大师的stl的用法,看到了我前段时间犯的一个错误,发现我写的代码和他提到错误代码几乎一模一样,有关stl容器删除元素的问题,错误的代码如下:std::vector< ...

  5. Java NIO原理分析

    Java IO 在Client/Server模型中,Server往往需要同时处理大量来自Client的访问请求,因此Server端需采用支持高并发访问的架构.一种简单而又直接的解决方案是“one-th ...

  6. WebApp MVC 框架的开发细节归纳

    在前文<WebApp MVC,“不一样”的轻量级互联网应用程序开发框架>介绍了WebApp MVC的技术实现以及如何使用,而在本章进一步归纳了使用框架开发的一些细节,也给我们在开发具体功能 ...

  7. 转载:Linux kernel rt_mutex的背景和简介

    From: http://blog.chinaunix.net/uid-23146151-id-3074045.html 最近在看linux rtmutex部分的实现过程,就像他注释中写的一样,还是比 ...

  8. SQLServer的数据类型

    第一大类:整数数据 bit:bit数据类型代表0,1或NULL,就是表示true,false.占用1byte.int:以4个字节来存储正负数.可存储范围为:-2^31至2^31-1.smallint: ...

  9. sublime text 3安装package console

    打开Packages目录,Preferences > Browse Packages 就可以进入这个目录. $ cd Packages/$ git clone https://github.co ...

  10. Entity Framework访问MySQL数据库的存储过程并获取返回值

      一.创建MySql存储过程 1, CREATE PROCEDURE `InsertAlarmInfo`(in businessindex int, in providerindex int, in ...