hadoop常用操作命令

#############centos6.8IP常用操作命令#######################
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.3.131
GATEWAY=192.168.3.2
NETMASK=255.255.255.0
DNS1=192.168.3.2

192.168.126.121 hdp-01
192.168.126.122 hdp-02
192.168.126.123 hdp-03
192.168.126.124 hdp-04

#############centos6.8修改系统信息常用操作命令#######################
[root@vae ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
[root@vae ~]# vi /etc/udev/rules.d/70-persistent-net.rules
[root@vae ~]# vi /etc/sysconfig/network

#############防火墙常用操作命令#######################
[root@hdp-04 ~]# service iptables stop
iptables: Setting chains to policy ACCEPT: filter [ OK ]
iptables: Flushing firewall rules: [ OK ]
iptables: Unloading modules: [ OK ]
[root@hdp-04 ~]# chkconfig iptables off

#############windows hosts文件位置常用操作命令#######################
C:\Windows\System32\drivers\etc

#############配置域名映射关系常用操作命令#######################
vi /etc/hosts

192.168.3.131 hdp-01
192.168.3.132 hdp-02
192.168.3.133 hdp-03

#############配置免密登录常用操作命令#######################
ssh-keygen
ssh-copy-id hdp-01
ssh-copy-id hdp-02
ssh-copy-id hdp-03

#############datanode和namenode常用操作命令#######################
修改slaves 配置文件（datanode）
/apps/hadoop-2.8.1/etc/hadoop
vi slaves

初始化datanode和namenode数据目录(先删除原有的namenode和datanode的数据目录)
rm -rf /apps/dfs（每台机上都要执行）
hadoop namenode -format
单独启动datanode
hadoop-daemon.sh start datanode

cd /apps/hadoop-2.8.1/sbin
start-dfs.sh
http://hdp-01:50070

#############安装yarn常用操作命令#######################
start-yarn.sh
http://hdp-01:8088/cluster/nodes

安装启动
/apps/hadoop-2.8.1/sbin/start-yarn.sh
#############spark常用操作命令#######################
启动spark
/apps/spark-2.2.3-bin-hadoop2.7/sbin/start-all.sh
/apps/spark-2.2.3-bin-hadoop2.7/sbin/stop-all.sh
启动demo
/apps/spark-2.2.3-bin-hadoop2.7/bin/spark-submit --master spark://hdp-01:7077 --class org.apache.spark.examples.SparkPi /apps/spark-2.2.3-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.2.3.jar 1000
启动demo指定运行时候的参数
/apps/spark-2.2.3-bin-hadoop2.7/bin/spark-submit --master spark://hdp-01:7077 --class org.apache.spark.examples.SparkPi --executor-memory 512mb --total-executor-cores 2 /apps/spark-2.2.3-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.2.3.jar 100
查看spark运行情况
http://hdp-01:8080/

提交一个spark程序到spark-shell
用的是spark的local模式运行的
/apps/spark-2.2.3-bin-hadoop2.7/bin/spark-shell
指定master运行在集群上
/apps/spark-2.2.3-bin-hadoop2.7/bin/spark-shell --master spark://hdp-01:7077

启动，停止fastDfs
/apps/hadoop-2.8.1/sbin/start-dfs.sh
/apps/hadoop-2.8.1/sbin/stop-dfs.sh

#############hdfs命令行客户端的常用操作命令#######################
0、查看hdfs中的目录信息
hadoop fs -ls /hdfs路径

1、上传文件到hdfs中
hadoop fs -put /本地文件 /aaa
hadoop fs -copyFromLocal /本地文件 /hdfs路径 ## copyFromLocal等价于 put

hadoop fs -moveFromLocal /本地文件 /hdfs路径 ## 跟copyFromLocal的区别是：从本地移动到hdfs中

2、下载文件到客户端本地磁盘
hadoop fs -get /hdfs中的路径 /本地磁盘目录
hadoop fs -copyToLocal /hdfs中的路径 /本地磁盘路径 ## 跟get等价
hadoop fs -moveToLocal /hdfs路径 /本地路径 ## 从hdfs中移动到本地

3、在hdfs中创建文件夹
hadoop fs -mkdir -p /aaa/xxx

4、移动hdfs中的文件（更名）
hadoop fs -mv /hdfs的路径 /hdfs的另一个路径

5、删除hdfs中的文件或文件夹
hadoop fs -rm -r /aaa

6、修改文件的权限
hadoop fs -chown user:group /aaa
hadoop fs -chmod 700 /aaa

7、追加内容到已存在的文件
hadoop fs -appendToFile /本地文件 /hdfs中的文件

8、显示文本文件的内容
hadoop fs -cat /hdfs中的文件
hadoop fs -tail /hdfs中的文件
#########################################

Demo
启动fastDfs
/apps/hadoop-2.8.1/sbin/start-dfs.sh
查看fastDfs运行情况
http://hdp-01:50070/
上传要统计的文件
hadoop fs -put /apps/softs/kkk.txt /wc
启动spark
/apps/spark-2.2.3-bin-hadoop2.7/sbin/start-all.sh
查看spark运行情况
http://hdp-01:8080/
指定master运行在集群上
/apps/spark-2.2.3-bin-hadoop2.7/bin/spark-shell --master spark://hdp-01:7077
分组聚合
sc.textFile("hdfs://hdp-01:9000/wc").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
分组聚合进行排序
sc.textFile("hdfs://hdp-01:9000/wc").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).collect
停止fastDfs
/apps/hadoop-2.8.1/sbin/stop-dfs.sh
停止spark
/apps/spark-2.2.3-bin-hadoop2.7/sbin/stop-all.sh