Hadoop集群常用组件的命令

1. Hadoop
(1).HDFS：
启动HDFS：start-dfs.sh
关闭HDFS：stop-dfs.sh
格式化NameNode：hdfs namenode -format
查看文件系统状态：hdfs dfsadmin -report
创建目录：hdfs dfs -mkdir /path/to/directory
上传本地文件到HDFS：hdfs dfs -put /path/to/local/file /path/to/hdfs/directory
下载HDFS文件到本地：hdfs dfs -get /path/to/hdfs/file /path/to/local/directory
查看HDFS文件内容：hdfs dfs -cat /path/to/hdfs/file
删除HDFS文件：hdfs dfs -rm /path/to/hdfs/file

(2). YARN：
启动YARN：start-yarn.sh
关闭YARN：stop-yarn.sh
查看YARN节点状态：yarn node -list
查看YARN应用程序状态：yarn application -list
提交YARN应用程序：yarn jar /path/to/app.jar com.example.Application arg1 arg2
杀死YARN应用程序：yarn application -kill application_id

(3). MapReduce：
提交MapReduce作业：hadoop jar /path/to/job.jar com.example.Job input_path output_path
查看MapReduce作业状态：mapred job -list
杀死MapReduce作业：mapred job -kill job_id

2. Hive：
启动Hive服务：hive --service hiveserver2
关闭Hive服务：hive --service hiveserver2 --stop
连接到Hive服务：beeline -u jdbc:hive2://localhost:10000
查看Hive表列表：show tables;
创建Hive表：create table table_name (column1 type1, column2 type2, …)
插入数据到Hive表：insert into table table_name values (value1, value2, …)
查询Hive表数据：select * from table_name
删除Hive表：drop table table_name

3. Spark
启动Spark集群：start-all.sh
关闭Spark集群：stop-all.sh
启动Spark Shell：spark-shell
提交Spark应用程序：spark-submit --class com.example.Application /path/to/app.jar arg1 arg2
查看Spark应用程序状态：spark-submit --status application_id
杀死Spark应用程序：spark-submit --kill application_id

4. ZooKeeper：
启动ZooKeeper：zkServer.sh start
关闭ZooKeeper：zkServer.sh stop
连接到ZooKeeper客户端：zkCli.sh -server localhost:2181
创建ZooKeeper节点：create /path/to/node data
获取ZooKeeper节点数据：get /path/to/node
更新ZooKeeper节点数据：set /path/to/node new_data
删除ZooKeeper节点：delete /path/to/node

5.Flink
(1).启动和停止Flink集群
启动Flink集群：./bin/start-cluster.sh
停止Flink集群：./bin/stop-cluster.sh
(2).提交和取消作业
提交作业：./bin/flink run <path/to/job.jar>
取消作业：./bin/flink cancel
(3).查看作业和任务状态
查看作业列表：./bin/flink list
查看作业状态：./bin/flink list -r
查看任务状态：./bin/flink list -t
(4).查看作业日志
查看作业日志：./bin/flink log
(5).告诉Flink任务已完成: ./bin/flink advance
(6).查看Flink配置：./bin/flink run -m : <path/to/job.jar>
(7).查看Flink Web UI
Flink Web UI默认端口为8081，通过浏览器访问即可： http://IP:8081

6.Flume
(1).启动Flume Agent
启动Flume Agent需要使用flume-ng命令，以及指定配置文件的路径。例如：
$ flume-ng agent --conf-file /path/to/flume.conf --name agent-name
#这里的`/path/to/flume.conf`为Flume Agent的配置文件路径，`agent-name`为Flume Agent的名称。

(2).停止Flume Agent
停止Flume Agent需要使用kill命令，以及指定Flume Agent的进程ID。例如：
$ ps -ef |grep Flume
$ kill -9 pid
#这里的`pid`为Flume Agent的进程ID，可以使用ps命令查看: 。

(3).查看Flume Agent的状态
查看Flume Agent的状态需要使用flume-ng命令，以及指定Flume Agent的名称和命令。例如：
$ flume-ng agent --name agent-name --status
#这里的`agent-name`为Flume Agent的名称，`--status`为查看状态的命令。

(4).查看Flume Agent的日志
查看Flume Agent的日志需要使用tail命令，以及指定Flume Agent的日志文件路径。例如：
$ tail -f /path/to/flume.log
#这里的`/path/to/flume.log`为Flume Agent的日志文件路径。

(5).测试Flume Agent的配置是否正确
测试Flume Agent的配置是否正确需要使用flume-ng命令，以及指定配置文件的路径和命令。例如：
$ flume-ng agent --conf-file /path/to/flume.conf --name agent-name --conf-test
#这里的`/path/to/flume.conf`为Flume Agent的配置文件路径，`agent-name`为Flume Agent的名称，`--conf-test`为测试配置的命令。

(6).查看Flume Agent的帮助信息
查看Flume Agent的帮助信息需要使用flume-ng命令，以及指定命令。例如：
$ flume-ng help
#这里的`help`为查看帮助信息的命令。