http://product.dangdang.com/23829918.html

Spark作为新兴的、应用范围最为广泛的大数据处理开源框架引起了广泛的关注,它吸引了大量程序设计和开发人员进行相关内容的学习与开发,其中 MLlib是 Spark框架使用的核心。本书是一本细致介绍 Spark MLlib程序设计的图书,入门简单,示例丰富。

本书分为 12章,从 Spark基础安装和配置开始,依次介绍 MLlib程序设计基础、MLlib的数据对象构建、MLlib中 RDD使用介绍,各种分类、聚类、回归等数据处理方法,最后还通过一个完整的实例,回顾了前面的学习内容,并通过代码实现了一个完整的分析过程。 本书理论内容由浅而深,采取实例和理论相结合的方式,内容全面而详尽,讲解细致直观,适合 Spark MLlib初学者、大数据分析和挖掘人员,也适合高校和培训学习相关专业的师生教学参考。

目录
第1章 星星之火
1.1 大数据时代
1.2 大数据分析时代
1.3 简单、优雅、有效——这就是Spark
1.4 核心——MLLib
1.5 星星之火,可以燎原
1.6 小结
第2章 Spark安装和开发环境配置
2.1 Windows单机模式Spark安装和配置
2.1.1 Windows 7安装Java
2.1.2 Windows 7安装Scala
2.1.3 Intellij IDE下载和安装
2.1.4 Intellij IDE中Scala插件的安装
2.1.5 Spark单机版安装
2.2 经典的WordCount
2.2.1 Spark实现WordCount
2.2.2 MapReduce实现WordCount
2.3 小结
第3章 RDD详解
3.1 RDD是什么
3.1.1 RDD名称的秘密
3.1.2 RDD特性
3.1.3 与其他分布式共享内存的区别
3.1.4 RDD缺陷
3.2 RDD工作原理
3.2.1 RDD工作原理
3.2.2 RDD的相互依赖
3.3 RDD应用API详解
3.3.1 使用aggregate方法对给定的数据集进行方法设定
3.3.2 提前计算的的cache方法
3.3.3 笛卡尔操作的cartesian方法
3.3.4 分片存储的coalesce方法
3.3.5 以value计算的countByValue方法
3.3.6 以key计算的countByKey方法
3.3.7 出去数据集中重复项的distinct方法
3.3.8 过滤数据的filter方法
3.3.9 以行为单位操作数据的flatMap方法
3.3.10 以单个数据为目标进行操作的map方法
3.3.11 分组数据的groupBy方法
3.3.12 生成键值对的keyBy方法
3.3.13 同时对两个数据进行处理的reduce方法
3.3.14 对数据进行重新排序的sortBy方法
3.3.15 合并压缩的zip方法
3.4 小结
第4章 MLLib基本概念
4.1 MLLib基本数据类型
4.1.1 多种数据类型
4.1.2 从本地向量集起步
4.1.3 向量标签的使用
4.1.4 本地矩阵的使用
4.1.5 分布式矩阵的使用
4.2 MLLib数理统计基本概念
4.2.1 基本统计量
4.2.2 统计量基本数据
4.2.3 距离计算
4.2.4 两组数据相关系数计算
4.2.5 分层抽样
4.2.6 假设检验
4.2.7 随机数
4.3 小结
第5章 协同过滤算法
5.1何为协同过滤
5.1.1 何为协同过滤
5.1.2 何为基于用户的推荐
5.1.3 何为基于物品的推荐
5.1.4 协同过滤算法的不足
5.2 相似度度量
5.2.1 基于欧几里得距离的相似度计算
5.2.2 基于余弦角度的相似度计算
5.2.3 欧几里得相似度与余弦相似度的比较
5.2.4 第一个例子——余弦相似度实战
5.3 MLLib中的交替最小二乘法(ALS算法)
5.3.1 最小二乘法(LS算法)详解
5.3.2 MLLib中交替最小二乘法(ALS算法)详解
5.3.3 ALS算法实战
5.4 小结
第6章 MLLIB线性回归理论与实战
6.1 随机梯度下降算法详解
6.1.1 道士下山的故事
6.1.2 随机梯度下降算法的理论基础
6.1.3 随机梯度下降算法实战
6.2 MLLib回归的过拟合
6.2.1 过拟合产生的原因
6.2.2 lasso回归与岭回归
6.3 MLLib线性回归实战
6.3.1 MLLib线性回归基本准备
6.3.2 MLLib线性回归实战:商品价格与消费者收入之间的关系
6.3.3 对拟合曲线的验证
6.4 小结
第7章 MLLib分类实战
7.1 逻辑回归详解
7.1.1 逻辑回归不是回归算法
7.1.2 逻辑回归的数学基础
7.1.3 一元逻辑回归示例
7.1.4 多元逻辑回归示例
7.1.5 MLLib逻辑回归验证
7.1.6 MLLib逻辑回归实例-胃癌的转移判断
7.2 支持向量机详解
7.2.1 三角还是圆
7.2.2 支持向量机的数学基础
7.2.3 支持向量机使用示例
7.2.4 使用支持向量机分析胃癌转移
7.3 朴素贝叶斯详解
7.3.1 穿裤子的男生or女生
7.3.2 贝叶斯定理的数学基础和意义
7.3.3 朴素贝叶斯定理
7.3.4 MLLib朴素贝叶斯使用示例
7.3.5 MLLib朴素贝叶斯实战——“僵尸粉”的鉴定
7.4 小结
第8章 决策树与保序回归
8.1 决策树详解
8.1.1 水晶球的秘密
8.1.2 决策树的算法基础-信息熵
8.1.3 决策树的算法基础——ID3算法
8.1.4 MLLib中决策树的构建
8.1.5 MLLib中决策树示例
8.1.6 随机雨林与梯度提升算法(GBT)
8.2 保序回归详解
8.2.1 何为保序回归
8.2.2 保序回归示例
8.3 小结
第9章 MLLib中聚类详解
9.1 聚类与分类
9.1.1 什么是分类
9.1.2 什么是聚类
9.2 MLLib中的Kmeans算法
9.2.1 什么是kmeans算法
9.2.2 MLLib中kmeans算法示例
9.2.3 Kmeans算法中细节的讨论
9.3 高斯混合聚类
9.3.1 从高斯分布聚类起步
9.3.2 混合高斯聚类
9.3.3 MLLib高斯混合模型使用示例
9.4 快速迭代聚类
9.4.1 快速迭代聚类理论基础
9.4.2 快速迭代聚类示例
9.5 小结
第10章 MLLib中关联规则
10.1 Apriori频繁项集算法
10.1.1 啤酒与尿布
10.1.2 经典的Apriori算法
10.1.3 Apriori算法示例
10.2 FP-growth算法
10.2.1 Apriori算法的局限性
10.2.2 FP-growth算法
10.2.3 FP树示例
10.3 小结
第11章 数据降维
11.1 奇异值分解(SVD)
11.1.1 行矩阵(RowMatrix)详解
11.1.2 奇异值分解算法基础
11.1.3 MLLib中奇异值分解示例
11.2 主成分分析(PCA)
11.2.1 主成分分析(PCA)的定义
11.2.2 主成分分析(PCA)的数学基础
11.2.3 MLLib中主成分分析(PCA)示例
11.3 小结
第12章 特征提取和转换
12.1 TF-IDF
12.1.1 如何查找我要的新闻
12.1.2 TF-IDF算法的数学计算
12.1.3 MLLib中TF-IDF示例
12.2 词向量化工具
12.2.1 词向量化基础
12.2.2 词向量化使用示例
12.3 基于卡方检验的特征选择
12.3.1 “吃货”的苦恼
12.3.2 MLLib中基于卡方检验的特征选择示例
12.4 小结
第13章 MLLib实战演练——鸢尾花分析
13.1 建模说明
13.1.1 数据的描述与分析目标
13.1.2 建模说明
13.2 数据预处理和分析
13.2.1 微观分析——均值与方差的对比分析
13.2.2 宏观分析——不同种类特性的长度计算
13.2.3 去除重复项——相关系数的确定
13.3 长与宽之间的关系——数据集的回归分析
13.3.1 使用线性回归分析长与宽之间的关系
13.3.1 使用逻辑回归分析长与宽之间的关系
13.4 使用分类和聚类对鸢尾花数据集进行处理
13.4.1 使用聚类分析对数据集进行聚类处理
13.4.2 使用分类分析对数据集进行分类处理
13.5 最终的判定——决策树测试
13.5.1 决定数据集的归类——决策树
13.5.2 决定数据集归类的分布式方法——随机雨林
13.6 小结

《Spark MLlib机器学习实践》内容简介、目录的更多相关文章

  1. Spark MLlib 机器学习

    本章导读 机器学习(machine learning, ML)是一门涉及概率论.统计学.逼近论.凸分析.算法复杂度理论等多领域的交叉学科.ML专注于研究计算机模拟或实现人类的学习行为,以获取新知识.新 ...

  2. Spark MLlib机器学习

    前言 Spark MLlib是Spark对常用的机器学习算法的实现库,同时包括相关的测试和数据生成器.

  3. Spark MLlib机器学习(一)——决策树

    决策树模型,适用于分类.回归. 简单地理解决策树呢,就是通过不断地设置新的条件标准对当前的数据进行划分,最后以实现把原始的杂乱的所有数据分类. 就像下面这个图,如果输入是一大堆追求一个妹子的汉子,妹子 ...

  4. 《Spark MLlib 机器学习实战》1——读后总结

    1 概念 2 安装 3 RDD RDD包含两种基本的类型:Transformation和Action.RDD的执行是延迟执行,只有Action算子才会触发任务的执行. 宽依赖和窄依赖用于切分任务,如果 ...

  5. Spark Mllib里的向量标签概念、构成(图文详解)

    不多说,直接上干货! Labeled point: 向量标签 向量标签用于对Spark Mllib中机器学习算法的不同值做标记. 例如分类问题中,可以将不同的数据集分成若干份,以整数0.1.2,... ...

  6. Spark Mllib里如何生成KMeans的训练样本数据、生成线性回归的训练样本数据、生成逻辑回归的训练样本数据和其他数据生成

    不多说,直接上干货! 具体,见 Spark Mllib机器学习(算法.源码及实战详解)的第2章 Spark数据操作

  7. Spark Mllib里如何采用保序回归做回归分析(图文详解)

    不多说,直接上干货! 相比于决策树,保序回归的应用范围没有决策树算法那么广泛. 特别在数据处理较为庞大的时候,采用保序回归做回归分析,可以极大地节省资源,从而提高计算效率. 保序回归的思想,是对数据进 ...

  8. Spark Mllib里的卡方检验

    不多说,直接上干货! import org.apache.spark.mllib.stat.Statistics 具体,见 Spark Mllib机器学习实战的第4章 Mllib基本数据类型和Mlli ...

  9. Spark Mllib里的分层抽样(使用map作为分层抽样的数据标记)

    不多说,直接上干货! 具体,见 Spark Mllib机器学习实战的第4章 Mllib基本数据类型和Mllib数理统计

随机推荐

  1. windows下利用virtual 安装 flask

    出处: https://segmentfault.com/a/1190000002450878 本文介绍Windows下如何从零开始搭建Python + Flask开发环境. 安装Python 2.7 ...

  2. Mac下输入法总是默认中文,怎么设置成英文的?

    最近一同事在DreamWeaver里,写CSS样式的时候,默认总是中文,切到别的窗口,再切回来,就变成中文了,总要按一下切换键,时间长了特别烦人. 在网上找了一些方法,最后找到一个有效的. 总结一下就 ...

  3. Masonry 创建Button的简单使用

    代码创建控制器,控件在实际开发中很实用,方便快捷,而Masonry第三方框架更是将代码创建效率提高了很多! 如何代码创建?如何使用第三方框架? 1.首先删除系统自带的SB,详见下图 2.在AppDel ...

  4. 整盘恢复黑苹果后,重新安装Win7,卡在正在启动

    是这样的: GHOST整个黑苹果的镜像,然后恢复到Thinkpad e450c上,能启动,但是驱动不对,最主要是网卡驱动不了(据说) 然后重新分区,安装Win7 哦豁 卡在 正在启动windows 多 ...

  5. Hdu 5489 合肥网络赛 1009 Removed Interval

    跳跃式LIS(nlogn),在普通的转移基础上增加一种可以跨越一段距离的转移,用一颗新的树状数组维护,同时,我们还要维护跨越完一次后面的转移,所以我用了3颗树状数组.. 比赛的时候一句话位置写错了,然 ...

  6. centos5安装salt-master

    本篇文档主要解决2个问题: 1. centos5通过yum安装的master版本肯定低于centos6安装的minion,所以必须升级salt-master 2. zeromq版本太低会报这个错 20 ...

  7. HttpClient 与 HtmlParser 简介 转载

    转载地址:https://www.ibm.com/developerworks/cn/opensource/os-cn-crawler/ 本小结简单的介绍一下 HttpClinet 和 HtmlPar ...

  8. MySQL时间段查询,无数据补0

    上一节提到分时间段统计,可是无数据的时候不显示,而此时我们需要让他显示0. 首先我们需要建一个时间表. CREATE TABLE `my_date` ( `date` date NOT NULL, P ...

  9. C# Winform中DataGridView绑定后DataGridViewCheckBoxColumn无法显示的问题

    在控件DataGridView绑定数据源后,发现DataGridViewCheckBoxColumn不能显示当前的check值.经过一番努力,现将完整代码奉献出来,仅供参考. 错误代码: /*禁止自动 ...

  10. thinkphp相关总结

    1.model层验证多个字段唯一性 protected $_validate = array( array('appid,awardid', '', '不能重复添加', self::MUST_VALI ...