依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.11</artifactId> <version>2.1.3</version> </dependency> scala代码 package com.zy.sparksql import org.apache.spark.SparkContext import

Hbase版本:Hortonworks Hbase 1.1.2 问题描述:使用Scala操作Hbase时,发生空指针异常(java.lang.RuntimeException: java.lang.NullPointerException),异常如下: // :: ERROR Executor: Exception ) java.lang.RuntimeException: java.lang.NullPointerException at org.apache.hadoop.hbase.cli

本文基于<Spark 高级数据分析>第2章 用Scala和Spark进行数据分析. 完整代码见 https://github.com/libaoquan95/aasPractice/tree/master/c2/Into 1.获取数据集 数据集来自加州大学欧文分校机器学习资料库(UC Irvine Machine Learning Repository),这个资料库为研究和教学提供了大量非常好的数据源, 这些数据源非常有意义,并且是免费的. 我们要分析的数据集来源于一项记录关联研究,这项研究是

spark 安装 配置 使用java来操作spark spark 安装 tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz rm spark-2.4.0-bin-hadoop2.7.tgz mv spark-2.4.0-bin-hadoop2.7 spark sudo vim /etc/profile export SPARK_HOME=/usr/local/storm export PATH=$PATH:$SPARK_HOME/bin source /etc/pro

1.创建scala maven项目 选择骨架的时候为org.scala-tools.archetypes:scala-aechetype-simple 1.2 2.导入包,进入spark官网Documentation选择第二个-选择自己的spark版本-选择programming guides-选择第二个-查看spark版本对应的依赖的版本 将pom中的内容为: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xs

客户端,Scala:Spark查询Phoenix 1.pom.xml 2.配置文件 2.1config.properties 2.2MyConfig 3.entity实体(与phoenix中的table互相对应) 4.Util 5.scala,客户端查询Phoenix中的数据 5.1 method1 5.2 method2 IDEA中,使用spark操作Phoenix中的数据,scala语言编写. 首先附上pom.xml 1.pom.xml <dependencies> <depende

要想搞明白Geotrellis的数据处理情况,首先要弄清楚数据的存放,Geotrellis将数据存放在Accumulo中. Accumulo是一个分布式的Key Value型NOSQL数据库,官网为(https://accumulo.apache.org/),在使用Ambari安装hadoop集群一文中已经介绍了如何安装Hadoop集群以及Accumulo. Accumulo以表来分区存放数据,结构为Key Value,其中Key又包含RowID和Column,Column又包含Family.Q

使用scala开发spark入门总结 一.spark简单介绍 关于spark的介绍网上有很多,可以自行百度和google,这里只做简单介绍.推荐简单介绍连接:http://blog.jobbole.com/89446/ 1.    spark是什么? Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架.一般配合hadoop使用,可以增强hadoop的计算性能. 2.    Spark的优点有哪些? Sp

idea中使用scala运行spark出现: Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class 查看build.sbt: name := "ScalaSBT" version := "1.0" scalaVersion := "2.11.8" libraryDependenci

Mac配置Scala和Spark最详细过程 原文链接: http://www.cnblogs.com/blog5277/p/8567337.html 原文作者: 博客园--曲高终和寡 一,准备工作 1.下载Scala http://www.scala-lang.org/download/ 拖到最下面,下载for mac的版本 2.下载Spark http://spark.apache.org/downloads.html 记得选版本啊,如果你是按照我之前的 Mac配置Hadoop最详细过程 配置

使用Scala编写Spark程序求基站下移动用户停留时长TopN 1. 需求:根据手机基站日志计算停留时长的TopN 我们的手机之所以能够实现移动通信,是因为在全国各地有许许多多的基站,只要手机一开机,就会和附近的基站尝试建立连接,而每一次建立连接和断开连接都会被记录到移动运营商的基站服务器的日志中. 虽然我们不知道手机用户所在的具体位置,但是根据基站的位置就可以大致判断手机用户的所处的地理范围,然后商家就可以根据用户的位置信息来做一些推荐广告. 为了便于理解,我们简单模拟了基站上的一些移动用户

Scala操作MongoDB // Maven <dependencies> <dependency> <groupId>org.mongodb</groupId> <artifactId>casbah</artifactId> <version>3.1.1</version> </dependency> </dependencies> // Sbt libraryDependencie

object CatalogApiTest { def main(args: Array[String]): Unit = { val spark = SparkSession .builder() .appName("CatalogApiTest") .getOrCreate() //查看spark sql应用用的是哪一种catalog //目前支持hive metastore 和in-memory两种 //spark-shell默认的值为hive //spark-shell --m

Scala操作外部数据: 1.操作文件 2.操作XML 3.操作MySQL 读取文件: object FileApp { def main(args: Array[String]): Unit = { //system file val file = Source.fromFile("Users/rocky/imooc/hello.txt") (scala.io.Codec.UTF8) def readLine(): Unit = { for(line <- file.getLi

一.安装spark spark SQL是spark的一个功能模块,所以我们事先要安装配置spark,参考: https://www.cnblogs.com/lay2017/p/10006935.html 二.数据准备 演示操作将从一个类似json文件里面读取数据作为数据源,并初始化为dataframe,我们准备一个user.json文件 在/usr/local/hadoop/spark目录(可以自定义目录)下新建一个user.json文件内容如下: {"id" : "1201

昨晚和同事一起看一个scala写的程序,程序都写完了,且在idea上debug运行是ok的.但我们不能调试的方式部署在客户机器上,于是打包吧.打包时,我们是采用把外部引入的五个包(spark-assembly-1.5.1-hadoop2.6.0.jar.commons-logging.jar.fastjson-1.2.10.jar.sqljdbc4.jar.log4j.jar)打包到我们的jar包中.好了,一切都好了...在java -jar demo.jar方式运行,以及把它拷贝到spark集

1 前言 Redis Standalone,Redis Cluster的安装在前面介绍过,地址:http://www.cnblogs.com/liuchangchun/p/5063477.html,这里不做介绍. 2 Redis的使用 针对各种编程语言,差不多都有Redis的驱动程序.针对Scala程序,在github上面有几个可用驱动: scala-redis:https://github.com/liuchchc/scala-redis rediscala:https://github.co

在前面: scala:2.12 hbase:2.0.2 开发工具:IDEA 准备工作: 1.将生产上的hbase中的conf/hbase-site.xml文件拷贝到idea中的src/resources目录下 2.将生产环境中hbase中的$HBASE_HOME/lib下的*.jar文件加载到IDEA中 3.点击libraries->中间的"+" ->java 4.选择jar包所放的位置,点击OK 5.继续点击ok即可 6.进行连接代码编写: package spark._

一.JDK环境构建 在指定用户的根目录下编辑.bashrc文件,添加如下部分: # .bashrc # Source global definitions if [ -f /etc/bashrc ]; then . /etc/bashrc fi # User specific aliases and functions JAVA_HOME=/data01/java/jdk1.8.0_121 PATH=$JAVA_HOME/bin:$PATHexport PATH JAVA_HOME 运行sour

1. 获取SparkSession spark = SparkSession.builder.config(conf = SparkConf()).getOrCreate() 2. 获取SparkContext 1. 获取sparkSession: se = SparkSession.builder.config(conf = SparkConf()).getOrCreate()1. 获取sparkContext: sc = se.sparkContext2. 获取sqlContext: sq

注:笔记旨在记录,配置方式每个人多少有点不同,但大同小异,以下是个人爱好的配置方式. 目录 一.配置jdk 二.配置ssh 三.配置hadoop 四.配置scala 五.配置spark 平台:win10下的ubuntu虚拟机内 所用到的文件: hadoop-2.7.3.tar jdk-11.0.7_linux-x64_bin.tar.gz scala-2.11.12.zip spark-2.4.5-bin-hadoop2.7_Working_Config.zip 下载请点这里 :s81k 预先步