关于Spark SQL (Structured Query Language),首先会想到一个问题:Apache Hive vs Apache Spark SQL – 13 Amazing Differences

Hive has been known to be the component of Big data ecosystem where legacy mappers and reducers are needed to process data from HDFS whereas Spark SQL is known to be the component of Apache Spark API which has made processing on Big data ecosystem a lot easier and real-time.

原理解析


Ref: https://www.bilibili.com/video/av27076260/?p=9

Ref: [MySQL] 01- Basic sql

小比较:

Hive: SQL --> map/reduce,Hive on Spark 就是把map/reduce直接换为Spark。

Spark SQL: SQL integrated in Spark;可直接读取Hive的保存的文件,兼容Hive。

架构图:

转化过程:

Catalyst's general tree transformation framework

(一)SQL Parser 转化为 Abstract Syntax Tree。

(二)逻辑最佳化,只保留需要的部分:

Parquet格式时,将字符串透过字典编码压缩成整数,缩小资料量;

RDBMS时,将筛选推到资料源端。

(三)可执行的物理计划,并产生 JVM bytecode。

智能选择 “Broadcast Join” or "Shuffle Join" 来减少网络流量

低阶优化,减少比较消耗的物件。

优化示例:

  1. def add_demographics(events):
  2.   u = sqlCtx.table("users")
  3.   events.join(u, events.user_id) == u.user_id).withColumn("city", zipToCity(df.zip))
  4.  
  5. events = add_demographics(sqlCtx.load("/data/events", "parquet"))
  6. training_data = events.where(events.city == "New York").select(events.timestamp).collect()

抽象语法树:

Spark SQL DataFrame


Dataframe作为新的数据结构,可以操作更为细粒度。(能看到RDD内部的结构化信息)

Spark SQL编程使用的是:SparkSession 接口,类似之前的SparkContext 的地位。

关系型数据库” 与 "机器学习" 的结合。

基本概念

一、SparkSession

PySpark交互环境下,会自动生成 SparkSessionSparkContext

  1. from pyspark import SparkContext, SparkConf
  2. from pyspark.sql import SparkSession
  3.  
  4. spark = SparkSession.builder.config(conf=SparkConf()).getOrCreate()

二、DataFrame

读取文件

/usr/local/spark/examples/src/main/resources/ 文件夹下有实例文件以供实验。

  1. df = spark.read.text("people.txt")
  2. df = spark.read.format("text").load("people.txt")  # 等价的方式
  3. df = spark.read.json("people.json")
  4.  
  5. df = spark.read.parquet("people.parquet")
  6.  
  7. df.show()

从HDFS中读取文件。

  1. from pyspark.sql import SQLContext
  2. sc = SparkContext()
  3. sqlcontext = SQLContext(sc)
  4. #format后面为告诉程序读取csv格式,load后面为hdfs地址,hdfs后面跟着hadoop的名字,然后文件目录(这块有点懵,如果报错,跟着报错查修)
  5. data = sqlcontext.read.format("com.databricks.spark.csv").\
  6. options(header="true",inferschema="true").\
  7. load("hdfs://cdsw1.richstone.com/test1/5min.csv")
  8. data.show(5)
  9. result = data.groupBy("type").count().orderBy("count")
  10. result.show()

保存文件

注意,最后 newpeople.json 是目录,有点意思。

  1. peopleDF = spark.read.format("json").load("file:///usr/local/spark/examples/src/main/resources/people.json")
  2.  
  3. peopleDF.select("name", "age").write.format("json").save("file:///usr/local/spark/mycode/sparksql/newpeople.json")

除了如上的json,还支持 text, parquet 格式 的文件。

三、常用操作

  1. df.printSchema()   # 模式信息

  2. df.select(df["name",df["age"]+1]).show()   # age列的value都加1

  3. df.filter(df["age"]>20).show()
  4. df.groupBy("age").count().show()
  5. df.sort(df["age"]).desc()).show()
  6. df.sort(df["age"]).desc().df["name"].asc()).show()  # 轻松实现 "二次排序"

RDD转换为DataFrame

一、利用"反射"机制推断RDD模式

使用反射来推断包含特定对象类型的RDD的模式(schema)。适用于写spark程序的同时,已经知道了模式,使用反射可以使得代码简洁。

结合样本的名字,通过反射读取,作为列的名字。

这个RDD可以隐式转化为一个SchemaRDD,然后注册为一个表。表可以在后续的sql语句中使用。

第一步、转化为Row形式的RDD格式

  1. from pyspark.sql import Row
  2.  
  3. people = spark.sparkContext.textFile("...").  \
  4. ... map(lambda line: line.split(",")).  \
  5. ... map(lambda p: Row(name=p[0], age=int(p[1])))

这里转换为了Row对象。

第二步、RDD格式 转换为 DataFrame

这里只是通过DataFrame的sql比较方便的查询了下数据而已。

注意理解:people是rdd,经过一次转变df后,又变回rdd,完成一次 “反射” 过程

  1. schemaPeople = spark.createDataFrame(people)

  2. # 必须注册为临时表才能供下面的查询使用
  3. schemaPeople.createOrReplaceTempView("people")
  4. personDF = spark.sql("select name, age from people where age > 20")

  5. # 再转化回RDD形式,而df的一行也就是p,其中包含name, age两个元素
  6. personsRDD = personsDF.rdd.map(lambda p: "Name: " + p.name + "," + "Age: " + str(p.age))
  7. personsRDD.foreach(print)

Output: 

  1. Name: Michael,Age: 29
  2. Name: Andy,Age: 30

二、用编程方式去定义RDD模式

当无法提前获知数据结构时。

Jeff: 数据文件中没有说明“数据类型”,只是全都是字符串。而“反射”方案中的rdd是含有类型的。

  1. from pyspark.sql.types import *
  2. from pyspark.sql import Row
  3.  
  4. # 生成"表头"
  5. schemaString = "name age"
  6. fields = [ StructField(field_name, StringType(), True) for field_name in schemaString.split(" ") ]
  7. schema = StructType(fields)
  8.  
  9. # 生成"记录"
  10. lines = spark.sparkContext.textFile("file:/// ... people.txt")
  11. parts = lines.map(lambda x: x.split(","))
  12. people = parts.map(lambda p: Row(p[0], p[1].strip()))

  13. #--------------------------------------------------------------
    # 拼接“表头”和“记录”
  14. schemaPeople = spark.createDataFrame(people, schema)
  15.  
  16. schemaPeople.createOrReplaceTempView("people")
    results = spark.sql("SELECT name,age FROM people")
    results.show()

连接数据库

一、启动MySQL并创建数据

启动数据库。

  1. service mysql start
  2. mysql -u root -p

创建数据。

  1. create database spark;
  2. use spark;
  3.  
  4. create table student (id int(4), name char(20), gender char(4), age int(4));
  5.  
  6. insert into student values(1, 'Xueqian', 'F', 23)
  7. insert into student values(2, 'Weiliang', 'M', 24)
  8.  
  9. select * from student

Spark调用MySQL,需安装JDBC驱动程序:mysql-connector-java-5.1.40.tar.gz

二、连接数据库

做个查询,测试一下连接。

  1. >>> use spark;
  2. >>> select * from student;

三、插入记录

(1) 设置“表头”

(2) 设置“记录”

转变为Row的形式

  1. rowRDD = studentRDD.map(lambda p: Row(int(p[].strip()), p[].strip(), p[].strip(), int(p[].strip())))

(3) 拼接“表头”和“记录”

  1. studentDF = spark.createDataFrame(rowRDD, schema)

(4) 写入数据库

DataFrame形式的数据 写入 数据库。

  1. prop = {}
  2. prop['user'] = 'root'
  3. prop['password'] = ''
  4. prop['driver'] = "com.mysql.jdbc.Driver"
  5.  
  6. # 构建好参数后
  7. studentDF.write.jdbc("jdbc:mysql://localhost:3306/spark",'student','append', prop)

(5) 查看效果

End.

[Spark] 05 - Spark SQL的更多相关文章

  1. [Spark][Python][DataFrame][SQL]Spark对DataFrame直接执行SQL处理的例子

    [Spark][Python][DataFrame][SQL]Spark对DataFrame直接执行SQL处理的例子 $cat people.json {"name":" ...

  2. [Spark][Hive][Python][SQL]Spark 读取Hive表的小例子

    [Spark][Hive][Python][SQL]Spark 读取Hive表的小例子$ cat customers.txt 1 Ali us 2 Bsb ca 3 Carls mx $ hive h ...

  3. Spark Shell启动时遇到<console>:14: error: not found: value spark import spark.implicits._ <console>:14: error: not found: value spark import spark.sql错误的解决办法(图文详解)

    不多说,直接上干货! 最近,开始,进一步学习spark的最新版本.由原来经常使用的spark-1.6.1,现在来使用spark-2.2.0-bin-hadoop2.6.tgz. 前期博客 Spark ...

  4. 大数据技术之_27_电商平台数据分析项目_02_预备知识 + Scala + Spark Core + Spark SQL + Spark Streaming + Java 对象池

    第0章 预备知识0.1 Scala0.1.1 Scala 操作符0.1.2 拉链操作0.2 Spark Core0.2.1 Spark RDD 持久化0.2.2 Spark 共享变量0.3 Spark ...

  5. Hive on Spark和Spark sql on Hive,你能分的清楚么

    摘要:结构上Hive On Spark和SparkSQL都是一个翻译层,把一个SQL翻译成分布式可执行的Spark程序. 本文分享自华为云社区<Hive on Spark和Spark sql o ...

  6. [Spark][Python]spark 从 avro 文件获取 Dataframe 的例子

    [Spark][Python]spark 从 avro 文件获取 Dataframe 的例子 从如下地址获取文件: https://github.com/databricks/spark-avro/r ...

  7. [Spark][Python]Spark 访问 mysql , 生成 dataframe 的例子:

    [Spark][Python]Spark 访问 mysql , 生成 dataframe 的例子: mydf001=sqlContext.read.format("jdbc").o ...

  8. Spark Shell & Spark submit

    Spark 的 shell 是一个强大的交互式数据分析工具. 1. 搭建Spark 2. 两个目录下面有可执行文件: bin  包含spark-shell 和 spark-submit sbin 包含 ...

  9. 【转】科普Spark,Spark是什么,如何使用Spark

    本博文是转自如下链接,为了方便自己查阅学习和他人交流.感谢原博主的提供! http://www.aboutyun.com/thread-6849-1-1.html http://www.aboutyu ...

随机推荐

  1. Raven 2 靶机渗透

    0X00 前言 Raven 2中一共有四个flag,Raven 2是一个中级boot2root VM.有四个标志要捕获.在多次破坏之后,Raven Security采取了额外措施来强化他们的网络服务器 ...

  2. 基于mybatisPlus的特殊字符校验

    要实现以下代码前提是导入Mybatis-plus的jar: * @author WENGKAIBO505 */ @Target({ElementType.FIELD, ElementType.METH ...

  3. MySQL多表关联数据同时删除

    MySQL多表关联时的多表删除: DELETE t1, t2FROM    t1LEFT JOIN t2 ON t1.id = t2.idWHERE    t1.id = 25

  4. 随笔编号-15 重构--改善既有代码的设计--Day01--学习笔记

    最近公司开发的系统在进行大批量数据查询的时候发现响应速度变得让人无法忍受,so 老大安排我进行代码重构的工作,主要目的就是为提高代码的执行效率.减小方法之间的响应时间.降低方法之间的耦合度.= =! ...

  5. Delphi - cxGrid连接Oracle数据库

    cxGrid连接Oracle数据库 WinFrm窗体中需要添加OraSession .OraQuery和 OraDataSource控件. OraSession中配置数据库连接参数: OraQuery ...

  6. Linux基础命令和文件权限

    Linux命令与文件权限 Linux基础命令   reboot  重启   cd         切换目录   cd ..     回到上一级目录   cd ~      回到主目录   cd /  ...

  7. spring-cloud-kubernetes背后的三个关键知识点

    在<你好spring-cloud-kubernetes>一文中,对spring-cloud-kubernetes这个SpringCloud官方kubernetes服务框架有了基本了解,今天 ...

  8. [企业微信通知系列]Jenkins发布后自动通知

    一.前言 最近使用Jenkins进行自动化部署,但是部署后,并没有相应的通知,虽然有邮件发送通知,但是发现邮件会受限于接收方的接收设置,导致不能及时看到相关的发布内容.而由于公司使用的是企业微信,因此 ...

  9. C#开发BIMFACE系列16 服务端API之获取模型数据1:查询满足条件的构件ID列表

    系列目录     [已更新最新开发文章,点击查看详细] 源文件/模型转换完成之后,可以获取模型的具体数据.本篇介绍根据文件ID查询满足条件的构件ID列表. 请求地址:GET https://api.b ...

  10. 深入浅出TypeScript(3)- 函数重载和泛型

    面向对象特性中,最根本的就是面向对象的三大基本特征:封装.继承.多态.同时,TypeScript中也存在多态的使用,比如函数重载,今天我们先看一下函数重载以及泛型的概念. 什么是函数重载 简单来说,函 ...