sqarkSQL hiveSql

查看数据库

show databases;

进入数据库

use 库名

查看表

show tables；

select * from 表名

hdfs传输spark sql查询

hive找到指定路径sql查询

vim gouzheng.txt 文件名字

放入数据

1 赵强 22 m 山西阳泉

2 李鹏波 21 m 河北邯郸

3 薛晋 26 m 山西运城

4 孙帅 21 m 河北张家口

5 杨老师 32 m 辽宁开原

6 李宇辉 24 m 河北张家口

7 钱万丰 24 m 山东梁山

8 王小佳 26 m 辽宁鞍山

9 李爽 18 f 辽宁鞍山

10 孙铭浩 18 m 辽宁鞍山

11 王坤华 20 m 河北邢台

12 王传芝 26 m 四川南充

13 梁红 18 f 甘肃张掖

14 牛睿 27 m 山西运城

15 马铭见 27 m 河北唐山

16 赵俊杰 21 m 内蒙包头

17 梁越 19 m 山西运城

18 秦凤 18 f 内蒙古呼和浩特

19 孙晓云 18 f 新疆乌鲁木齐

20 何明 24 m 黑龙江齐齐哈尔

21 张旭 16 m 黑龙江大庆

22 张江涛 21 m 山西运城

23 杨惠 18 m 山西运城

24 黄则铭 25 m 山西运城

25 宋旭 21 m 黑龙江绥化

26 肖鹏程 18 m 河北张家口

27 唐凤龙 23 m 黑龙江哈尔滨

28 许月月 18 f 山西运城

29 徐果 22 m 安徽六安

#将文件上传到Hdfs

hdfs dfs -put gouzheng.txt /

#查看

hdfs dfs -cat /gouzheng.txt

#打开spark-shell

 

 val lineRDD = sc.textFile("hdfs://hadoop:9000/gouzheng.txt").map(_.split(" "))

 

 case class Person(id:Int, name:String, age:Int, Sex:String, s_local:String)

 

 val personRDD = lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt, x(3), x(4)))

 

  val personDF = personRDD.toDF

 

  personDF.show

 

如果出现权限问题的话

hdfs dfs -chmod 777 /

 

______________________________________________________________________

#进入hive

create 数据库

use 数据库

creat 表格

create table test(

id int,

name string,

age int,

gender char(1),

s_local string)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY ' '

STORED AS TEXTFILE;

use 表格

#指定路径

load data local inpath '/root/gouzheng.txt' into table test;

#查询即可

 

 ——————————————————————————

HIVE的连接模式== 本地连接模式 直接启动hive命令

HIVE的远程连接 这里要启动HIVE的服务 thirft进行编写

hiveserver2 —- > 前台启动 后台启动

前台启动 hiveserver2

后台启动 hiveserver2 &

#进入beeline

1. !connect jdbc:hive2://10.0.0.11:10000
2. #或者
3. beeline -u jdbc:hive2://10.0.0.11:10000 -n root