SparkSQL DataFrames操作

Hive中已经存在emp和dept表：

select * from emp;

+--------+---------+------------+-------+-------------+---------+---------+---------+

| empno  |  ename  |    job     |  mgr  |  hiredate   |   sal   |  comm   | deptno  |

+--------+---------+------------+-------+-------------+---------+---------+---------+

| 7369   | SMITH   | CLERK      | 7902  | 1980-12-17  | 800.0   | NULL    | 20      |

| 7499   | ALLEN   | SALESMAN   | 7698  | 1981-2-20   | 1600.0  | 300.0   | 30      |

| 7521   | WARD    | SALESMAN   | 7698  | 1981-2-22   | 1250.0  | 500.0   | 30      |

| 7566   | JONES   | MANAGER    | 7839  | 1981-4-2    | 2975.0  | NULL    | 20      |

| 7654   | MARTIN  | SALESMAN   | 7698  | 1981-9-28   | 1250.0  | 1400.0  | 30      |

| 7698   | BLAKE   | MANAGER    | 7839  | 1981-5-1    | 2850.0  | NULL    | 30      |

| 7782   | CLARK   | MANAGER    | 7839  | 1981-6-9    | 2450.0  | NULL    | 10      |

| 7788   | SCOTT   | ANALYST    | 7566  | 1987-4-19   | 3000.0  | NULL    | 20      |

| 7839   | KING    | PRESIDENT  | NULL  | 1981-11-17  | 5000.0  | NULL    | 10      |

| 7844   | TURNER  | SALESMAN   | 7698  | 1981-9-8    | 1500.0  | 0.0     | 30      |

| 7876   | ADAMS   | CLERK      | 7788  | 1987-5-23   | 1100.0  | NULL    | 20      |

| 7900   | JAMES   | CLERK      | 7698  | 1981-12-3   | 950.0   | NULL    | 30      |

| 7902   | FORD    | ANALYST    | 7566  | 1981-12-3   | 3000.0  | NULL    | 20      |

| 7934   | MILLER  | CLERK      | 7782  | 1982-1-23   | 1300.0  | NULL    | 10      |

+--------+---------+------------+-------+-------------+---------+---------+---------+

select * from dept;

+---------+-------------+-----------+

| deptno  |    dname    |    loc    |

+---------+-------------+-----------+

| 10      | ACCOUNTING  | NEW YORK  |

| 20      | RESEARCH    | DALLAS    |

| 30      | SALES       | CHICAGO   |

| 40      | OPERATIONS  | BOSTON    |

+---------+-------------+-----------+

DataFrame常用功能测试：

val hc = new org.apache.spark.sql.hive.HiveContext(sc)

val emp = hc.table("emp")    //根据hive表创建DataFrame

emp.dtypes.foreach(println)   //查看所有字段名称和类型

    (empno,IntegerType)

    (ename,StringType)

    (job,StringType)

    (mgr,IntegerType)

    (hiredate,StringType)

    (sal,DoubleType)

    (comm,DoubleType)

    (deptno,IntegerType)

emp.columns.foreach(println)  //查看所有字段名称

    empno

    ename

    job

    mgr

    hiredate

    sal

    comm

    deptno

emp.printSchema    //打印schema信息

    root

        |-- empno: integer (nullable = true)

        |-- ename: string (nullable = true)

        |-- job: string (nullable = true)

        |-- mgr: integer (nullable = true)

        |-- hiredate: string (nullable = true)

        |-- sal: double (nullable = true)

        |-- comm: double (nullable = true)

        |-- deptno: integer (nullable = true)

emp.explain  //查看物理执行计划

== Physical Plan ==

HiveTableScan [empno#0,ename#1,job#2,mgr#3,hiredate#4,sal#5,comm#6,deptno#7], (MetastoreRelation default, emp, None), None

emp.show  #默认显示20行

    empno ename  job       mgr  hiredate   sal    comm   deptno

    7369  SMITH  CLERK     7902 1980-12-17 800.0  null   20

    7499  ALLEN  SALESMAN  7698 1981-2-20  1600.0 300.0  30

    7521  WARD   SALESMAN  7698 1981-2-22  1250.0 500.0  30

    7566  JONES  MANAGER   7839 1981-4-2   2975.0 null   20

    7654  MARTIN SALESMAN  7698 1981-9-28  1250.0 1400.0 30

    7698  BLAKE  MANAGER   7839 1981-5-1   2850.0 null   30

    7782  CLARK  MANAGER   7839 1981-6-9   2450.0 null   10

    7788  SCOTT  ANALYST   7566 1987-4-19  3000.0 null   20

    7839  KING   PRESIDENT null 1981-11-17 5000.0 null   10

    7844  TURNER SALESMAN  7698 1981-9-8   1500.0 0.0    30

    7876  ADAMS  CLERK     7788 1987-5-23  1100.0 null   20

    7900  JAMES  CLERK     7698 1981-12-3  950.0  null   30

    7902  FORD   ANALYST   7566 1981-12-3  3000.0 null   20

    7934  MILLER CLERK     7782 1982-1-23  1300.0 null   10 

emp.show(10) #显示指定行数

emp.limit(5).show

emp.head(3)

emp.head   #等价于head(1)

emp.first  #等价于head(1)

val emp_as = emp.as("emp_as")   #别名

emp_as.select("empno","ename","deptno").show

#查看指定列:

emp.select("empno","ename","deptno").show

emp.select($"empno",$"ename",$"deptno").show

emp.selectExpr("empno", "ename as name", "substr(ename,0,4)").show     #配合udf使用

emp.select($"empno",$"sal"+100).show  #给sal加100

#条件过滤：

emp.filter("empno>7698").show

emp.filter($"empno" > 7698).show

emp.where($"empno" > 7698).show

#排序：

emp.sort("empno").show  #默认升序

emp.sort($"empno").show

emp.sort("empno").show

emp.sort($"empno".desc).show

emp.sort($"deptno", $"empno".desc).show #多字段排序

emp.orderBy($"empno").show

emp.orderBy($"empno".desc).show

emp.orderBy($"deptno", $"empno".desc).show

#分组：

emp.groupBy("deptno").count.show

emp.groupBy($"deptno").avg().show   #所有的列求平均值

emp.groupBy($"deptno").avg("sal").show   #sal列求平均值

emp.groupBy($"deptno").agg("sal"->"max").show   #sal取最大

emp.groupBy($"deptno").agg("sal"->"min").show   #sal取最小

emp.groupBy($"deptno").agg("sal"->"sum").show   #sal求和

emp.groupBy($"deptno").agg("sal"->"avg").show   #sal求平均值

#agg中能有的方法有: avg/max/min/sum/count

#join：

val dept = hc.table("dept")

dept.show

emp.join(dept,emp.col("deptno") === dept.col("deptno"),"left_outer").show

emp.join(dept,emp.col("deptno") === dept.col("deptno"),"right_outer").show

emp.join(dept,emp.col("deptno") === dept.col("deptno"),"inner").show

emp.join(dept,$"emp.deptno"===$"dept.deptno" ,"inner").select("empno","ename","dname").show

DataFrames结合SQL使用测试：

val emp_dept = emp.join(dept,emp.col("deptno") === dept.col("deptno"),"left_outer")

emp_dept.registerTempTable("emp_dept_temp")

hc.sql("select count(*) from emp_dept_temp").collect

DataFrames结合hive和mysql jdbc external datasource使用测试:

mysql中准备数据：

DROP TABLE IF EXISTS `dept`;

CREATE TABLE `dept` (

  `deptno` int(11) NOT NULL DEFAULT '',

  `dname` varchar(30) DEFAULT NULL,

  `loc` varchar(30) DEFAULT NULL,

  PRIMARY KEY (`deptno`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

INSERT INTO `dept` VALUES ('', 'ACCOUNTING', 'NEW YORK');

INSERT INTO `dept` VALUES ('', 'RESEARCH', 'DALLAS');

INSERT INTO `dept` VALUES ('', 'SALES', 'CHICAGO');

INSERT INTO `dept` VALUES ('', 'OPERATIONS', 'BOSTON');

val hc = new org.apache.spark.sql.hive.HiveContext(sc)

val emp = hc.table("emp")

val dept_jdbc = hc.jdbc("jdbc:mysql://hadoop000:3306/hive?user=root&password=root", "dept")

emp.join(dept_jdbc, emp.col("deptno") === dept_jdbc.col("deptno"), "left_outer").show    

    empno ename  job       mgr  hiredate   sal    comm   deptno deptno dname      loc

    7782  CLARK  MANAGER   7839 1981-6-9   2450.0 null   10     10     ACCOUNTING NEW YORK

    7839  KING   PRESIDENT null 1981-11-17 5000.0 null   10     10     ACCOUNTING NEW YORK

    7934  MILLER CLERK     7782 1982-1-23  1300.0 null   10     10     ACCOUNTING NEW YORK

    7369  SMITH  CLERK     7902 1980-12-17 800.0  null   20     20     RESEARCH   DALLAS

    7566  JONES  MANAGER   7839 1981-4-2   2975.0 null   20     20     RESEARCH   DALLAS

    7788  SCOTT  ANALYST   7566 1987-4-19  3000.0 null   20     20     RESEARCH   DALLAS

    7876  ADAMS  CLERK     7788 1987-5-23  1100.0 null   20     20     RESEARCH   DALLAS

    7902  FORD   ANALYST   7566 1981-12-3  3000.0 null   20     20     RESEARCH   DALLAS

    7499  ALLEN  SALESMAN  7698 1981-2-20  1600.0 300.0  30     30     SALES      CHICAGO

    7521  WARD   SALESMAN  7698 1981-2-22  1250.0 500.0  30     30     SALES      CHICAGO

    7654  MARTIN SALESMAN  7698 1981-9-28  1250.0 1400.0 30     30     SALES      CHICAGO

    7698  BLAKE  MANAGER   7839 1981-5-1   2850.0 null   30     30     SALES      CHICAGO

    7844  TURNER SALESMAN  7698 1981-9-8   1500.0 0.0    30     30     SALES      CHICAGO

    7900  JAMES  CLERK     7698 1981-12-3  950.0  null   30     30     SALES      CHICAGO

DataFrames结合parquet和mysql jdbc external datasource使用测试:

SparkSQL DataFrames操作的更多相关文章

Spark记录-SparkSQL远程操作MySQL和ORACLE
1.项目引入mysql和oracle驱动 2.将mysql和oracle驱动上传到hdfs 3.远程调试源代码如下: import org.apache.spark.sql.SQLContext im ...
入门大数据---SparkSQL联结操作
一. 数据准备本文主要介绍 Spark SQL 的多表连接,需要预先准备测试数据.分别创建员工和部门的 Datafame,并注册为临时视图,代码如下: val spark = SparkSessio ...
spark-sql jdbc操作mysql
SparkConf sparkConf = new SparkConf() .setMaster("local") .setAppName("MySqlTest" ...
Spark记录-SparkSQL一些操作
scala>val spark=new org.apache.spark.sql.SQLContext(sc) user.json {"age":"45" ...
SparkSQL——用之惜之
SparkSql作为Spark的结构化数据处理模块,提供了非常强大的API,让分析人员用一次,就会为之倾倒,为之着迷,为之至死不渝.在内部,SparkSQL使用额外结构信息来执行额外的优化.在外部,可 ...
SparkSQL
Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块,它提供了2个编程抽象:DataFrame和DataSet,并且作为分布式SQL查询引擎的作用. Hive SQL是转换成 ...
【大数据】SparkSql学习笔记
第1章 Spark SQL概述 1.1 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块,它提供了2个编程抽象:DataFrame和 DataSet,并且作为分布式 ...
sparkSQL实战详解
摘要如果要想真正的掌握sparkSQL编程,首先要对sparkSQL的整体框架以及sparkSQL到底能帮助我们解决什么问题有一个整体的认识,然后就是对各个层级关系有一个清晰的认识后,才能真正的 ...
Spark之 SparkSql、DataFrame、DataSet介绍
SparkSql SparkSql是专门为spark设计的一个大数据仓库工具,就好比hive是专门为hadoop设计的一个大数据仓库工具一样. 特性: .易整合可以将sql查询与spark应用程序进 ...

随机推荐

UE4 VR 模式全屏 4.13
以前写了一个4.11版本全屏,高版本的没用所以也不清楚情况,最近出了4.13,刚好新项目要用上打包出来以后发现,控制台命令fullscreen没有用了, 被stereo on 替代,但是还是没有全屏, ...
css实现分割线
<!DOCTYPE html><html> <head> <meta charset="UTF-8"> <title>& ...
各种模板（part 2）
堆: using namespace dui //堆 { #include<queue> //需要的库 priority_queue < int > Q; //定义一个Q的大根 ...
【jq】c#零基础学习之路（5）自己编写简单的Mylist<T>
public class MyList<T> where T : IComparable { private T[] array; private int count; public My ...
（转） WTF is computer vision?
WTF is computer vision? Posted Nov 13, 2016 by Devin Coldewey, Contributor Next Story Someon ...
获取公网IP
private static string GetIP() { string tempip = ""; try { WebRequest wr = WebRequest.Creat ...
fastdfs-nginx扩展模块源码分析
FastDFS-Nginx扩展模块源码分析 1. 背景在大多数业务场景中,往往需要为FastDFS存储的文件提供http下载服务,而尽管FastDFS在其storage及tracker都内置了htt ...
白电迁移－Auto fdisk
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ fdisk /dev/vdbnp 1 w fdisk -l cd / mkdir /data mkfs.ext4 /dev/vdb1 mo ...
IIS性能相关的配置、命令
IIS性能相关的配置.命令应用程序池回收不要使用缺省的“固定时间间隔(分钟)”:1740(即29小时),建议改为0 可以根据实际情况设置特定时间回收,比如凌晨4点最大工作进程数可以根据实际情况 ...
PHP eof的使用
PHP eof的使用也就是heredoc技术,来部分实现界面与代码的分离 <?php $name = '张三'; print <<<EOT <html> < ...

SparkSQL DataFrames操作

SparkSQL DataFrames操作的更多相关文章

随机推荐

热门专题