Hadoop常用命令及范例

　　hadoop中的zookeeper，hdfs,以及hive，hbase都是hadoop的组件，要学会熟练掌握相关的命令及其使用规则，下面就是一些常用命令及对hbase和hive的操作语句，同时也列出了一些范例。

　　start-dfs.sh

　　NameNode 进程启动:hadoop-daemon.sh start namenode

　　DataNode 进程启动:hadoop-daemon.sh start datanode

　　HA 高可用环境中需要启动的进程:

　　zookeeper：

　　zkServer.sh start 启动

　　zkServer.sh stop 停止

　　zkServer.sh status 查看状态 leader follwer

　　journalnode 集群命令

　　hadoop-daemon.sh start journalnode 启动

　　hadoop-daemon.sh stop journalnode 停止

　　ZKFC

　　启动 zkfc 进程: hadoop-daemon.sh start zkfc

　　停止 zkfc 进程: hadoop-daemon.sh stop zkfc

　　1. shell命令 管 理和 HDFS 的文件管 理。

　　(1)启动 Zookeeper

　　zkServer.sh start

　　(2)启动 HDFS 的命令

　　start-dfs.sh

　　(3)启动 Yarn 的命令

　　start-yarn.sh

　　(4)显示 HDFS 中/data/test 目录信息

　　hadoop fs -mkdir /data/test

　　hadoop fs -lsr /data/test

　　(5)将本地文件/tmp/log.txt 文件上传到/data/test 目录中

　　hadoop fs -put /tmp/log.txt /data/test

　　(6)设置文件/data/test/log.txt 的副本数为 3

　　hadoop fs -setrep -w 3 /data/test/log.txt

　　(7)显示/data/test/log.txt 文件内容

　　hadoop fs -cat /data/test/log.txt

　　(8)将/data/test/log.txt 文件移动到集群/user/hadoop 目录下

　　hadoop fs -mkdir /user/hadoop

　　hadoop fs -mv /data/test/log.txt /user/hadoop

　　(9)将/data/test/log.txt 文件下载到/home/hadoop 目录下

　　hadoop fs -copyToLocal /data/test/log.txt /home/hadoop/

　　(10)关闭 HDFS 命令

　　stop-dfs.sh

　　(11)停止 Zookeeper

　　zkServer.sh stop

　　2.将学生数据存储到 Hive 数据仓库中，信息包括(学号，姓名，性别，年龄，联系方式，

　　邮箱)，创建表语法如下：

　　启动 hive 前切记要先启动 mysql 数据库

　　create table student(sno string ,name string ,sex string ,age int ,phone string, email string) row

　　format delimited fields terminated by ',' ;(1)将本地数据“/tmp/student.dat”加载到 student 表，写出操作语句

　　load data local inpath '/tmp/student.dat' overwrite into table student;

　　(2)写 HQL 语句查询全部学生信息

　　select * from student;

　　(3)写 HQL 语句查询各个年龄及对应学生数量

　　(4) select age,count(*) from student group by age;

　　(5)写 HQL 语句查询全部学生的姓名和性别

　　select name,sex from student;

　　(6)写 HQL 语句查询年龄为 18 的学生姓名和联系方式

　　select name,phone from student where age=18;

　　(7)写 HQL 语句查看 student 表结构

　　describe student;

　　(8)写 HQL 语句删除 student 表

　　drop table student;

　　(9)导出 生 地/home/hadoop/out 目录 ，写出 语

　　from student insert overwrite local directory '/home/hadoop/out' select *;

　　3.员工表 employee 包含两个列族 basic 和 info，使用 shell 命令完成以下操作。

　　(1)启动 HBase 集群

　　注意：在启动 hbase 集群前，需要将 zookeeper,hdfs,yarn 及历史服务器启动

　　zkServer.sh start

　　start-dfs.sh

　　start-yarn.sh

　　mr-jobhistory-daemon.sh start historyserver

　　启动 hbase 集群

　　start-hbase.sh

　　hbase shell

　　(2)在 HBase 中创建 employee 表

　　create 'employee','basic','info'

　　(3)一个员工行键为“19006”，basic 列族有 sex 列，值为“男”，添加该值

　　put 'employee','19006','basic:sex','nan'

　　(4)获取行键为“19002”的员工的性别信息

　　get 'employee','19006','basic:sex'

　　(5)获取行键为“19002”的员工的 info 列族所有数据

　　get 'employee','19006','info'

　　(6)查询所有员工的数据

　　scan 'employee'

　　(7)统计 employee 表的行数

　　count 'employee'

　　(8)关闭 HBase 集群

　　stop-hbase.sh

　　********

　　(9)单独启动和关闭 hadoop 服务(10) 启动名称节点

　　(11) hadoop-daemon.sh start namenode

　　(12) 启动数据节点

　　(13)hadoop-daemons.sh start datanode slave

　　(14)开启 resourcemanager

　　(15)yarn-daemon.sh start resourcemanager

　　(16)停止一个数据节点

　　(17)hadoop-daemon.sh stop datanode

　　(18)重新开启

　　(19)hadoop-daemon.sh start datanode

　　HBase基本语法及示例： (1)建数据表，包含两个列族，第一个列族保留版本为 2，第二个列族保留版本为 1;

　　create 'stu',{NAME=>'info',VERSIONS=>2},{NAME=>'grade'}

　　(2) put 添加 ， 一 一 识 message;

　　put 'stu','zhangsan','info:message','16jiruangongyiban'

　　put 'stu','zhangsan','grade:c++','90'

　　(3)使用 get 和 scan 查询数据。

　　get 'stu' ,'zhangsan', 'info'

　　get 'stu', 'zhangsan',{COLUMNS=>'info:message',VERSIONS=>2}

　　scan 'stu'

　　Hbase 语法总结:

　　注意，在向 hbase 的表中添加数据的时候只能一列一列的添加

　　添加数据：

　　put '行键' ，'列族名：列名'，'数值'

　　获取数据：

　　get '表名','行键'

　　get '表名'，'行键','列族名'

　　get '表名'，'行键','列族名：列名'

　　get '表名'，'行键',{COLUMNS=>'列族名:列名'，VERSIONS=>版本}

　　扫描数据：

　　scan '表名'

　　scan '表名' {COLUMNS=>'列族名'}

　　scan '表名' {COLUMNS=>'列族名：列名'}

　　scan '表名' {COLUMNS=>'列族名：列名'，VERSIONS=>版本}

　　修改数据表：

　　alter '表名',{NAME=>'已经存在的列族名'，VERSIONS=>版本}

　　清除数据表：

　　truncate '表名'

　　disable '表名' drop '表名'

　　Hive 示例： 使用 DDL 完成数据定义

　　按照下面学生信息创建学生表和标准身高体重表并加载数据，分别创建内部表、外部表、分区表和桶表，其中分区依据是专业名称，桶表分为 3 个桶。学生信息实例：

　　学号 姓名 性别 爱好 年龄 学习成绩 通讯地址

　　实验内容 140010101 张三 男 足球,篮球,长跑等 19 C 程序:90,Java:85,DB:88 河南,郑州,大

　　学 路 60 号,450001

　　内部表：

　　create table stu(sno int,sname string,sex string,hobby array,age int,grade

　　map,address struct)row format

　　delimited fields terminated by ' ' collection items terminated by ',' map keys terminated by':';

　　加载数据：无锡妇科医院哪家好 http://mobile.xasgyy.net/

　　load data local inpath 'kk.txt' overwrite into table stu;

　　分区表：

　　create table stupartition(sno int,sname string,sex string,hobby array,age int,grade

　　map,address struct)partitioned

　　by (major string)row format delimited fields terminated by ' ' collection items terminated by ','

　　map keys terminated by':';

　　加载数据：

　　load data local inpath 'kk.txt' overwrite into table stupartition partition(major='jsj');

　　桶表：

　　create table stubucket(sno int,sname string,sex string,hobby array,age int,grade

　　map,address struct)clustered by

　　(age) into 3 buckets row format delimited fields terminated by ' ' collection items terminated by

　　',' map keys terminated by':';

　　设置使用分桶属性：set hive.enforce.bucketing=true;

　　加载数据：

　　load data local inpath 'kk.txt' overwrite into table stubucket;

　　查看数据存储位置可以看到桶表中的数据

　　hadoop fs -ls /user/hive/warehouse

　　外部表：

　　create external table stuexternal(sno int,sname string,sex string,hobby array,age

　　int,grade map,address

　　struct)row format delimited fields

　　terminated by ' ' collection items terminated by ',' map keys terminated by':' location

　　'/user/hive/external/stuexternal';

　　加载数据：

　　load data local inpath 'kk.txt' overwrite into table stuexternal;

　　标准身高体重实例： 年龄 身高范围 体重范围

　　19 160-170 60-65

　　身高体重内部表：

　　create table shengao(age int,highth struct,weighth struct)row

　　format delimited fields terminated by ' ' collection items terminated by '-';'

　　加载数据：

　　load data local inpath 'shengao.txt' overwrite into table shengao;

　　3.使用 DML 完成数据查询

　　查询指定学生的第一爱好和通讯邮编;查询指定学生姓名、性别和身高范围;查询有对应身高范围和体重范围的学生信息;查询软件工程专业学生总人数;查询各专业学生的

　　平均年龄。

　　查询指定学生的第一爱好和通讯邮编;

　　select hobby[0],address.postid from stu where sname='aa';

　　查询指定学生姓名、性别和身高范围;

　　select sex,highth from stu left outer join shengao on stu.age=shengao.age where stu.sname='aa';

　　查询有对应身高范围和体重范围的学生信息;

　　select * from stu left outer join shengao on stu.age=shengao.age where highth.up=170 and

　　highth.down=160 and weighth.max=65 and weighth.min=60;

　　查询软件工程专业学生总人数;

　　select count(*) from stupartition where major='rjgc';

　　查询各专业学生的平均年龄。

　　select avg(age) major from stupartition group by(major);