第1章 初识机器学习

在本章中将带领大家概要了解什么是机器学习、机器学习在当前有哪些典型应用、机器学习的核心思想、常用的框架有哪些,该如何进行选型等相关问题。

  • 1-1 导学
  • 1-2 机器学习概述
  • 1-3 机器学习核心思想
  • 1-4 机器学习的框架与选型..

第2章 初识MLlib

本章中,将介绍Spark的机器学习库,对比Spark当前两种机器学习库(MLLib/ML)的区别,同时介绍Spark机器学习库的应用场景以及行业应用优势。

  • 2-1 MLlib概述
  • 2-2 MLlib的数据结构
  • 2-3 MLlib与ml
  • 2-4 MLlib的应用场景

第3章 实战环境搭建

本章中,将介绍如何进行实战环境搭建。包括如何完成Spark环境安装配置、如何通过Spark Shell进行编程,并通过 Wordcount 入门程序,完成部署和测试。

  • 3-1 Spark环境安装
  • 3-2 Spark配置若干要点
  • 3-3 学习Spark shell
  • 3-4 实战Wordcount

第4章 数据可视化

本章中,将对数据可视化进行介绍,告诉大家什么是数据可视化,我们通过数据可视化能对大数据系统起到怎样的作用,并结合 Echars 介绍了如何实现常见的数据可视化图表(折线图、柱状图、散点图)。

  • 4-1 数据可视化的作用及常用方法
  • 4-2 初识Echarts
  • 4-3 通过Echarts实现图表化数据展示

第5章 Spark的矩阵与向量

本章中,将讲解矩阵与向量的一些基本运算,并介绍Spark的矩阵与向量的操作,帮助数据基础薄弱的同学补齐短板。

  • 5-1 矩阵与向量介绍
  • 5-2 Spark中实践向量的使用
  • 5-3 Spark中实践矩阵的使用

第6章 Spark基础统计模块

本章中,将概要介绍Spark的基础统计模块、简单的统计学知识、相关系数以及假设检验的知识,拓展大家的技术视野。

  • 6-1 基础统计模块及常用统计学知识介绍
  • 6-2 实战统计汇总
  • 6-3 学习相关系数
  • 6-4 学习假设检验

第7章 Spark实现回归算法

本章中,将讲解几种常见的回归算法,并以预测房价模型为例,教大家如何使用回归算法来实现简单的预测。

  • 7-1 回归分析概述
  • 7-2 线性回归算法概述
  • 7-3 线性回归算法原理
  • 7-4 最小二乘法
  • 7-5 随机梯度下降
  • 7-6 实战Spark预测房价---项目展示及代码概览
  • 7-7 实战Spark预测房价---数据加载及转换
  • 7-8 实战Spark预测房价--训练与预测
  • 7-9 逻辑回归算法及原理概述
  • 7-10 正则化原理
  • 7-11 实战Spark逻辑回归
  • 7-12 保序回归算法概述
  • 7-13 保序回归算法原理
  • 7-14 实战一个保序回归数据分析

第8章 Spark实现分类算法

本章中,将几种常见的分类算法,并结合鸢尾花数据集为例,讲解分类算法在Spark上的实践。同时,比较各种分类算法的区别,使大家能够合理选择应该使用的算法。

  • 8-1 朴素贝叶斯算法及原理概述
  • 8-2 实战朴素贝叶斯的分类
  • 8-3 支持向量机概述
  • 8-4 实战基于SVM的分类
  • 8-5 决策树算法及原理概述
  • 8-6 实战基于决策树的分类--案例1
  • 8-7 实战基于决策树的分类--案例2
  • 8-8 本章小结
  • 8-9 关于数据归一化的介绍

第9章 Spark实现聚类算法

本章中,将介绍聚类算法,并通过比较聚类算法与分类算法的区别,帮助大家了解聚类算法的内在含义。此处,仍然使用鸢尾花数据集应用聚类算法进行分析,便于大家对比发现聚类算法与分类算法的区别与联系,以便于后期灵活运用。...

  • 9-1 Kmeans算法概述
  • 9-2 Kmeans算法原理
  • 9-3 Kmeans算法实战
  • 9-4 LDA算法概述
  • 9-5 LDA算法原理
  • 9-6 LDA算法实践
  • 9-7 本章小结

第10章 Spark实现降维

本章中,将通过讲解PCA算法的原理,使大家明白降维算法的大致原理,以及能够实现怎么样的功能。结合应用降维算法在分类算法使用之前进行预处理的实践,帮助大家体会算法的作用。

  • 10-1 PCA算法及原理概述
  • 10-2 实战PCA算法实现降维
  • 10-3 本章小结

第11章 Spark实践文本情感分类

本章中,将结合前述知识进行综合实战,以达到所学即所用。文本情感分类这个项目会将分类算法、文本特征提取算法等进行关联,使大家能够对Spark的具体应用有一个整体的感知与了解。

  • 11-1 项目总体概况
  • 11-2 数据集概述
  • 11-3 数据预处理
  • 11-4 文本特征提取
  • 11-5 训练分类模型
  • 11-6 本章小结

第12章 Spark实践推荐系统

本章中,将结合前述知识进行综合实战,以达到所学即所用。在推荐系统项目中,讲解了推荐系统基本原理以及实现推荐系统的架构思路,有其他相关研发经验基础的同学可以结合以往的经验,实现自己的推荐系统。

掌握Spark机器学习库(课程目录)的更多相关文章

  1. Spark机器学习库(MLlib)官方指南手册中文版

    中文https://blog.csdn.net/liulingyuan6/article/details/53582300 https://yq.aliyun.com/articles/608083 ...

  2. 掌握Spark机器学习库-07.6-线性回归实现房价预测

    数据集 house.csv 数据概览 代码 package org.apache.spark.examples.examplesforml import org.apache.spark.ml.fea ...

  3. 掌握Spark机器学习库-09.6-LDA算法

    数据集 iris.data 数据集概览 代码 package org.apache.spark.examples.examplesforml import org.apache.spark.ml.cl ...

  4. 掌握Spark机器学习库-09.3-kmeans算法实现分类

     数据集 iris.data 数据集概览 代码 package org.apache.spark.examples.hust.hml.examplesforml import org.apache.s ...

  5. 掌握Spark机器学习库-08.7-决策树算法实现分类

    数据集 iris.data 数据集概览 代码 package org.apache.spark.examples.examplesforml import org.apache.spark.Spark ...

  6. 掌握Spark机器学习库-08.2-朴素贝叶斯算法

    数据集 iris.data 数据集概览 代码 import org.apache.spark.SparkConf import org.apache.spark.ml.classification.{ ...

  7. 掌握Spark机器学习库-07.14-保序回归算法实现房价预测

    数据集 house.csv 数据集概览 代码 package org.apache.spark.examples.examplesforml import org.apache.spark.ml.cl ...

  8. 掌握Spark机器学习库-07-回归算法原理

    1)机器学习模型理解 统计学习,神经网络 2)预测结果的衡量 代价函数(cost function).损失函数(loss function) 3)线性回归是监督学习

  9. 掌握Spark机器学习库-07-回归分析概述

    1)回归与分类算法的区别 回归的预测结果是连续的,分类的预测结果是离散的. 2)spark实现的回归算法有: 3)通过相关系数衡量线性关系的程度

随机推荐

  1. apache使用总结

    由于某些原因,经常会使用apache(有时用nginx) 现在我主要用它做反向代理,偶尔弄一下负载均衡和添加head头 apache官网 http://httpd.apache.org/ 下载地址 h ...

  2. css中vertical-align和line-height的用法

    css中vertical-align和line-height的用法 1.先来看一种现象: (1).将一个图片放入一个div块中,div块背景颜色设置为aquamarine.将会发现图片与div块下边沿 ...

  3. PR 修改保存的增强 ME_UPDATE_REQUISITION

    FUNCTION me_update_requisition."""""""""""&qu ...

  4. 2.7 xargs和exec详解【转】

    本文转载自:http://ask.apelearn.com/question/13323 常用在查找中exec主要是和find一起配合使用,而xargs就要比exec用的地方要多了. exec  应用 ...

  5. shell系统管理

    背景知识 对于 Linux 系统管理员来说,没有比 shell 脚本编程更有用处的了.通常,Linux 系统管理员每天需要完成无数项任务,从监视系统磁盘空间和系统用户到备份重要文件.Shell 脚本可 ...

  6. YTU 2562: 黄金螺旋

    2562: 黄金螺旋 时间限制: 1 Sec  内存限制: 128 MB 提交: 832  解决: 427 题目描述 黄金螺旋是根据斐波那契数列画出来的螺旋曲线,自然界中存在许多斐波那契螺旋线的图案, ...

  7. repo+manifests+git方式管理安卓代码

    repo+manifests+git方式管理安卓代码 1.repo的获取 repo只是google用Python脚本写的调用git的一个脚本,主要是用来下载.管理Android项目的软件仓库.(也就是 ...

  8. 深入理解JMM(Java内存模型) --(一)

    并发编程模型的分类 在并发编程中,我们需要处理两个关键问题:线程之间如何通信及线程之间如何同步(这里的线程是指并发执行的活动实体).通信是指线程之间以何种机制来交换信息.在命令式编程中,线程之间的通信 ...

  9. appium封装显示等待Wait类和ExpectedCondition接口

    此文已由作者夏鹏授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 使用WebDriver做Web自动化的时候,org.openqa.selenium.support.ui中提供 ...

  10. 使用 MongoDB 存储商品分类信息

    此文已由作者温正湖授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 这是一篇MongoDB官网上的一篇文章,分析了使用MongoDB存储商品分类信息相比其他数据库的优势,并讲述 ...