spark教程(10)-sparkSQL

【spark教程(10)-sparkSQL】的更多相关文章

spark教程(10)-sparkSQL

sparkSQL 的由来我们知道最初的计算框架叫 mapreduce,他的缺点是计算速度慢,还有一个就是代码比较麻烦,所以有了 hive: hive 是把类 sql 的语句转换成 mapreduce,解决了开发难的问题,但是 hive 的底层还是 mapreduce,仍然是慢: spark 也看到了 hive 的优势,以 hive 为中心的一套框架 shark 营运而生,它是 spark 的前身,h 就是 hive 的意思: 但是为了提高 shark 的效率,spark 自己开发了一套算法…

spark教程(11)-sparkSQL 数据抽象

数据抽象 sparkSQL 的数据抽象是 DataFrame,df 相当于表格,它的每一行是一条信息,形成了一个 Row Row 它是 sparkSQL 的一个抽象,用于表示一行数据,从表现形式上看,相当于一个 tuple 或者表中的一行: from pyspark.sql import Row ##### 创建 Row #### method 1 row = Row(name="Alice", age=11) print row # Row(age=11, name='Alice'…

spark教程(18)-sparkSQL 自定义函数

sparkSQL 也允许用户自定义函数,包括 UDF.UDAF,但没有 UDTF 官方 API class pyspark.sql.UDFRegistration(sparkSession)[source] register(name, f, returnType=None)[source] Register a Python function (including lambda function) or a user-defined function as a SQL function. Pa…

spark教程(19)-sparkSQL 性能优化之谓词下推

在 sql 语言中,where 表示的是过滤,这部分语句被 sql 层解析后,在数据库内部以谓词的形式出现: 在 sparkSQL 中,如果出现 where,它会现在数据库层面进行过滤,一般数据库会有索引,效率不会太低, sparkSQL 只读取过滤后的数据,大大减少数据量,提高效率,特别是提高 join 的效率大致过程如图…

Spark教程——（11）Spark程序local模式执行、cluster模式执行以及Oozie/Hue执行的设置方式

本地执行Spark SQL程序: package com.fc //import common.util.{phoenixConnectMode, timeUtil} import org.apache.spark.sql.SQLContext import org.apache.spark.sql.functions.col import org.apache.spark.{SparkConf, SparkContext} /* 每天执行 */ object costDay { def mai…

node-webkit教程(10)Platform Service之File dialogs

node-webkit教程(10)Platform Service之File dialogs 文/玄魂目录 node-webkit教程(10)Platform Service之File dialogs 前言 10.1 File dialogs简介 10.2 打开一个文件对话框 10.3 多文件选择对话框 10.4 文件类型过滤 10.5 选择文件夹 10.6 保存文件对话框 10.7 FileList 10.8 指定默认路径 10.9 小结前言几个月前,要开发一个简易的展示应用…

Hadoop3.0新特性介绍，比Spark快10倍的Hadoop3.0新特性

Hadoop3.0新特性介绍,比Spark快10倍的Hadoop3.0新特性 Apache hadoop 项目组最新消息,hadoop3.x以后将会调整方案架构,将Mapreduce 基于内存+io+磁盘,共同处理数据.其实最大改变的是hdfs,hdfs 通过最近black块计算,根据最近计算原则,本地black块,加入到内存,先计算,通过IO,共享内存计算区域,最后快速形成计算结果. 1. Hadoop 3.0简介 Hadoop 2.0是基于JDK 1.7开发的,而JDK 1.7在2015年4…