Zeppelin为0.5.6 Zeppelin默认自带本地spark,可以不依赖任何集群,下载bin包,解压安装就可以使用. 使用其他的spark集群在yarn模式下. 配置: vi zeppelin-env.sh 添加: export SPARK_HOME=/usr/crh/current/spark-client export SPARK_SUBMIT_OPTIONS="--driver-memory 512M --executor-memory 1G" export HADOOP

梯度迭代树(GBDT)算法原理及Spark MLlib调用实例(Scala/Java/python) http://blog.csdn.net/liulingyuan6/article/details/53426350 梯度迭代树 算法简介: 梯度提升树是一种决策树的集成算法.它通过反复迭代训练决策树来最小化损失函数.决策树类似,梯度提升树具有可处理类别特征.易扩展到多分类问题.不需特征缩放等性质.Spark.ml通过使用现有decision tree工具来实现. 梯度提升树依次迭代训练一系列的

Zeppelin为0.5.6 Zeppelin默认自带本地spark,可以不依赖任何集群,下载bin包,解压安装就可以使用. 使用其他的spark集群在yarn模式下. 配置: vi zeppelin-env.sh 添加: export SPARK_HOME=/usr/crh/current/spark-client export SPARK_SUBMIT_OPTIONS="--driver-memory 512M --executor-memory 1G" export HADOOP

--------------------- 前言 --------------------- 项目关系,希望用Spark GraphX做数据分析及图像展示,但前提是得会spark:spark是基于scala的,scala是基于JAVA的……所以,要想用Spark GraphX,技术堆栈大体上应该是这样的:Java -> Scala -> Spark -> Spark GraphX.   JAVA都这么多年了……就不说了,我们从学习Scala开始.   ------------------

项目中用到python操作hdfs的问题,一般都是使用python的hdfs包,然而这个包初始化起来太麻烦,需要: from pyspark impport SparkConf, SparkContextfrom hdfs import * client = Client("http://127.0.0.1:50070") 可以看到python需要指定master的地址,平时Scala使用的时候不用这样,如下: import org.apache.hadoop.fs.{FileSyst

Spark程序使用Scala进行单元测试 1.Rdd测试 2.无返回值方法测试 3.测试私有方法 原文作者:大葱拌豆腐 原文地址:Spark程序进行单元测试-使用scala 1.Rdd测试 spark程序一般从集群中读取数据然后通过rdd进行转换,这其中涉及到集群,每次修改bug,上传到集群再运行测试,代价还是挺大;所以尽可能先本地进行单元测试,以减少在集群上运行时错误,特别是map等各种tranforms动作的逻辑错误:以下示例用于测试本地返回rdd相关的方法(利用spark本地模式进行单元测

https://blog.csdn.net/liulingyuan6/article/details/53390949

问题:将scala打成jar包,提供给java调用,但是java一直提示找不到类 实现功能:利用spark查询hbase数据,然后提供给外部接口调用 我的方式:spark查询Hbase用scala实现(已经完成),将scala打成jar 包提供给java调用一直提示找不到scala 中的主类 问题原因:spark执行的时候需要添加外部jar包 解决办法:在类的前面加外部包即可: sh spark-submit --jars path/name.jar --class cn.scala.javat

首先参考的是这篇文章:http://blog.csdn.net/sadfasdgaaaasdfa/article/details/45970185 但是其中的函数太老了.所以要改.另外出发点是我自己的这篇文章 http://www.cnblogs.com/charlesblc/p/6206198.html 里面关于梯度下降的那幅图片. 改来改去,在随机化向量上耗费了很多时间,最后还是做好了.代码如下: package com.spark.my import org.apache.log4j.{L

http://www.cnblogs.com/byrhuangqiang/p/4017725.html 为了在IDEA中编写scala,今天安装配置学习了IDEA集成开发环境.IDEA确实很优秀,学会之后,用起来很顺手.关于如何搭建scala和IDEA开发环境,请看文末的参考资料. 用Scala和Java实现WordCount,其中Java实现的JavaWordCount是spark自带的例子($SPARK_HOME/examples/src/main/java/org/apache/spark

本文基于<Spark 高级数据分析>第2章 用Scala和Spark进行数据分析. 完整代码见 https://github.com/libaoquan95/aasPractice/tree/master/c2/Into 1.获取数据集 数据集来自加州大学欧文分校机器学习资料库(UC Irvine Machine Learning Repository),这个资料库为研究和教学提供了大量非常好的数据源, 这些数据源非常有意义,并且是免费的. 我们要分析的数据集来源于一项记录关联研究,这项研究是

How to implement connection pool in spark https://github.com/YulinGUO/BigDataTips/blob/master/spark/How%20to%20implement%20connection%20pool%20in%20Spark.md 问题所在 在Spark Streaming Guid中,提到: dstream.foreachRDD { rdd => rdd.foreachPartition { partitionO

朴素贝叶斯 算法介绍: 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法. 朴素贝叶斯的思想基础是这样的:对于给出的待分类项,求解在此项出现的条件下各个类别出现的概率,在没有其它可用信息下,我们会选择条件概率最大的类别作为此待分类项应属的类别. 朴素贝叶斯分类的正式定义如下: 1.设 为一个待分类项,而每个a为x的一个特征属性. 2.有类别集合 . 3.计算 . 4.如果 ,则 . 那么现在的关键就是如何计算第3步中的各个条件概率.我们可以这么做: 1.找到一个已知分类的待分类项集合,这

简介 spark MLlib官网:http://spark.apache.org/docs/latest/ml-guide.html mllib是spark core之上的算法库,包含了丰富的机器学习的一系列算法.你可以通过简单的API来构建算法模型,然后利用模型来进行预测分析推荐之类的. 它包含了一些工具,如: 1)算法工具:分类.回归.聚类.协同等 2)特征化工具:特征提取.转换.降维.选择等 3)管道:用于构建.评估和调整机器学习管道的工具 4)持久性:保存和加载算法.模型.管道 5)实用

简介 spark SQL官网:http://spark.apache.org/docs/latest/sql-programming-guide.html sparkSQL是构建在sparkCore之上的组件,用于处理结构化的数据.它将数据抽象为DataFrame并提供丰富的API,并且sparkSQL允许使用SQL脚本进行操作,使得数据查询变得非常的容易使用. 同时,sparkSQL除了操作简单,API丰富之外,对于数据源的支持也很强大.你可以从,如: 1)HDFS 2)Parguet文件 3

简介 spark graphx官网:http://spark.apache.org/docs/latest/graphx-programming-guide.html#overview spark graphx是基于spark core之上的一个图计算组件,graphx扩展了spark RDD,是spark对于图计算的一种抽象. 这里的图,不是“图画”的意思,是一种数据结构.这种数据结构由“点”和“线”组成,拿用户关系图来说,“点”描述的就是用户,“线”描述的就是这些用户之间的关系,所以由“点”

使用SGD算法逻辑回归的垃圾邮件分类器 package com.oreilly.learningsparkexamples.scala import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.mllib.classification.LogisticRegressionWithSGD import org.apache.spark.mllib.feature.HashingTF import org.ap

Spark提供了多个脚本来作为程序的入口,其中最常用的是交互脚本 spark-shell, pyspark,还有spark sql的客户端spark-sql. 这些脚本最后都会归结到对SparkSubmit类的调用. 下图是spark-shell的调用流程 下图是spark-sql的调用流程 可以看出最后的程序入口都是SparkSubmit.main, 在该入口中会根据传入的参数不同而进入不同的类.

实验1,计算级数: 首先打开安装完scala ide的eclipse,在eclipse 中新建一个scala project. 然后新建一个scala的object对象 导入scala.io.StdIn包,用以实现接受键盘输入 在新建的object对象中,新建main函数,并添加以下代码实现: package sn import scala.io.StdIn object test { def main(args: Array[String]): Unit = { println("请输入Sn的

一.实验目的 (1)掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法: (2)熟悉 HDFS 的基本使用方法: (3)掌握使用 Spark 访问本地文件和 HDFS 文件的方法. 二.实验平台 操作系统:centos6.4: Scala版本:2.10.6.: Hadoop 版本:2.7.6. 三.实验过程 首先根据这篇博文https://www.cnblogs.com/Genesis2018/p/9079787.html安装Scala 输入wget http://downl