CentOS6安装各种大数据软件 第二章：Linux各个软件启动命令

相关文章链接

CentOS6安装各种大数据软件 第一章：各个软件版本介绍

CentOS6安装各种大数据软件 第二章：Linux各个软件启动命令

CentOS6安装各种大数据软件 第三章：Linux基础软件的安装

CentOS6安装各种大数据软件 第四章：Hadoop分布式集群配置

CentOS6安装各种大数据软件 第五章：Kafka集群的配置

CentOS6安装各种大数据软件 第六章：HBase分布式集群的配置

CentOS6安装各种大数据软件 第七章：Flume安装与配置

CentOS6安装各种大数据软件 第八章：Hive安装和配置

CentOS6安装各种大数据软件 第九章：Hue大数据可视化工具安装和配置

CentOS6安装各种大数据软件 第十章：Spark集群安装和部署

1. 同步时间的命令

查看时间命令：date

网络同步时间命令：ntpdate ntp1.aliyun.com / ntpdate cn.pool.ntp.org

同步固定时间命令：date -s "2018-07-30 14:03:03"

2. 防火墙等相关命令

#临时关闭防火墙

service iptables stop

#检测防火墙是否关闭

service iptables stop

#将防火墙设置为开启不启动

chkconfig iptables off

#修改config文件中的SELINUX=disabled

vi /etc/selinux/config

SELINUX=disabled

3. Zookeeper软件启动命令

在Zookeeper的安装目录的bin文件夹下，启动zkServer.sh start即可

环境变量配置如下：

export ZK_HOME=/export/servers/zookeeper-3.4.9

export PATH=${ZK_HOME}/bin:$PATH

4. Hadoop软件启动命令

4.1. 格式化HDFS文件系统

在Hadoop的安装目录下执行此命令：./bin/hdfs namenode –format

4.2. 启动HDFS

我们现在将一个节点上的HDFS文件系统配置完成和格式化完成了,接下来,我们启动HDFS文件系统

#启动namenode

./sbin/hadoop-daemon.sh start namenode

#启动datanode

./sbin/hadoop-daemon.sh start datanode

#启动之后可以在50070的web界面进行查看

4.3. 启动yarn

#启动resourcemanager

./sbin/yarn-daemon.sh start resourcemanager

#启动nodemanager

./sbin/yarn-daemon.sh start nodemanager

#启动之后可以在8088的web界面进行查看

4.4. 一键启动和停止

在sbin目录下执行如下命令：

./start-all.sh

./stop-all.sh

5. Kafka软件启动命令

5.1. 直接启动，当窗口关闭后结束进程

cd /export/servers/kafka/bin
./kafka-server-start.sh /export/servers/kafka/config/server.properties

5.2. 以守护进程的方式启动kafka，窗口关闭后能使用kafka

kafka-server-start.sh -daemon /export/servers/kafka/config/server.properties

5.3. 启动kafka-manage页面显示工具

./kafka-manager -Dconfig.file=../conf/application.conf

6. HBase软件启动命令

6.1. 逐个服务器节点启动HBase

#在节点1的HBase安装目录的bin目录下启动HBase Master
./hbase-daemon.sh start master
#在三节点启动regionserver
./hbase-daemon.sh start regionserver

6.2. 一键启动

#在HBase的bin目录下执行如下命令
./start-hbase.sh

6.3. 通过一键启动脚本启动HBase

starthbase.sh

7. Flume启动命令

7.1. 逐个服务器节点启动Flume

bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console
-c conf 指定 flume 自身的配置文件所在目录
-f conf/netcat-logger.con 指定我们所描述的采集方案
-n a1 指定我们这个 agent 的名字

7.2. 通过一键启动脚本启动Flume

startflume.sh

8. hive启动命令

在/export/servers/hive/bin目录下，启动hiveserver2服务即可：
./hiveserver2
hive的一键启动命令：
starthiveserver2.sh

9. Hue启动命令

在/export/servers/hue-3.7.0-cdh5.3.6/build/env/bin目录下执行hue的启动命令：
./supervisor
如果hue集成hbase，需在/export/servers/hbase/bin目录下启动thrift服务：
hbase-daemon.sh start thrift

10. Spark启动命令

10.1. 普通spark启动命令如下

在spark安装目录的sbin目录下执行如下命令：./start-all.sh

10.2. 高可用spark启动命令如下

在节点一的spark安装目录的sbin目录下执行如下命令：./sbin/start-all.sh
在节点二的spark安装目录的sbin目录下执行如下命令：./sbin/start-master.sh

10.3. 注意

因为此配置中，spark集成了hive和hbase等操作，所以在如果要运行spark-shell，需要先启动hbase和hive，特别是hive，需启动3个服务，一个hive主服务，一个hive的其他连接服务，一个hive和spark集成的服务，如下所示：
在hive的跟目录下：bin/hiveserver2
在hive的跟目录下：bin/hive --service metastore

11. 需在命令行窗口启动的服务

hue服务：/export/servers/hue-3.7.0-cdh5.3.6/build/env/bin/supervisor
hive和spark关联服务：/export/servers/hive/bin/hive --service metastore