三台集群机器：

master   192.168.168.200

slave1     192.168.168.201

slave2     192.168.168.202

1、start-master.sh



  1. #!bin/sh
    2. 

  2. echo "==============================================="
    3. 

  3. echo "================启动 Hadoop==================="
    4. 

  4. echo "==============================================="
    5. 

  5. start-all.sh;
    6. 

  6. echo "==============================================="
    7. 

  7. echo "================启动 Spark===================="
    8. 

  8. echo "==============================================="
    9. 

  9. /usr/local/spark/spark-2.1.1-bin-hadoop2.7/sbin/start-all.sh;
    10. 

  10. echo "==============================================="
    11. 

  11. echo "================启动master Zookeeper==========="
    12. 

  12. echo "==============================================="
    13. 

  13. zkServer.sh start;
    14. 

  14. echo "==============================================="
    15. 

  15. echo "================启动slave1 Zookeeper==========="
    16. 

  16. echo "==============================================="
    17. 

  17. ssh slave1 "/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh start;exit;";
    18. 

  18. echo "==============================================="
    19. 

  19. echo "================启动slave2 Zookeeper==========="
    20. 

  20. echo "==============================================="
    21. 

  21. ssh slave2 "/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh start;exit;";
    22. 

  22. echo "==============================================="
    23. 

  23. echo "================启动master Kafka==============="
    24. 

  24. echo "==============================================="
    25. 

  25. cd /usr/local/kafka/kafka_2.11-0.8.2.1;
    26. 

  26. bin/kafka-server-start.sh config/server.properties;
    27. 

  27. echo "==============================================="
    28. 

  28. echo "============Master启动服务成功！！！==========="
    29. 

  29. echo "==============================================="


由于kafka-server-start.sh启动的是一个后台服务，所以只能分开启动kafka后台服务。


2、start-slave1.sh




  1. #!bin/sh
    2. 

  2. echo "==============================================="
    3. 

  3. echo "================启动slave1 Kafka==============="
    4. 

  4. echo "==============================================="
    5. 

  5. ssh slave1 "cd /usr/local/kafka/kafka_2.11-0.8.2.1;bin/kafka-server-start.sh config/server.properties;";
    6. 

  6. echo "==============================================="
    7. 

  7. echo "============slave1启动服务成功！！！==========="
    8. 

  8. echo "==============================================="


3、start-slave2.sh




  1. #!bin/sh
    2. 

  2. echo "==============================================="
    3. 

  3. echo "================启动slave2 Kafka==============="
    4. 

  4. echo "==============================================="
    5. 

  5. ssh slave2 "cd /usr/local/kafka/kafka_2.11-0.8.2.1;bin/kafka-server-start.sh config/server.properties;";
    6. 

  6. echo "==============================================="
    7. 

  7. echo "============slave2启动服务成功！！！==========="
    8. 

  8. echo "==============================================="


4、stop.sh




  1. #!bin/sh
    2. 

  2. echo "==============================================="
    3. 

  3. echo "================停止 Hadoop==================="
    4. 

  4. echo "==============================================="
    5. 

  5. stop-all.sh;
    6. 

  6. echo "==============================================="
    7. 

  7. echo "================停止 Spark===================="
    8. 

  8. echo "==============================================="
    9. 

  9. /usr/local/spark/spark-2.1.1-bin-hadoop2.7/sbin/stop-all.sh;
    10. 

  10. echo "==============================================="
    11. 

  11. echo "================停止master Zookeeper==========="
    12. 

  12. echo "==============================================="
    13. 

  13. zkServer.sh stop;
    14. 

  14. echo "==============================================="
    15. 

  15. echo "================停止slave1 Zookeeper==========="
    16. 

  16. echo "==============================================="
    17. 

  17. ssh slave1 "/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh stop;exit;";
    18. 

  18. echo "==============================================="
    19. 

  19. echo "================停止slave2 Zookeeper==========="
    20. 

  20. echo "==============================================="
    21. 

  21. ssh slave2 "/usr/local/zookeeper/zookeeper-3.4.6/bin/zkServer.sh stop;exit;";
    22. 

  22. echo "==============================================="
    23. 

  23. echo "================停止master Kafka==============="
    24. 

  24. echo "==============================================="
    25. 

  25. cd /usr/local/kafka/kafka_2.11-0.8.2.1;
    26. 

  26. bin/kafka-server-stop.sh config/server.properties;
    27. 

  27. echo "==============================================="
    28. 

  28. echo "================停止slave1 Kafka==============="
    29. 

  29. echo "==============================================="
    30. 

  30. ssh slave1 "cd /usr/local/kafka/kafka_2.11-0.8.2.1;bin/kafka-server-stop.sh config/server.properties;exit;";
    31. 

  31. echo "==============================================="
    32. 

  32. echo "================停止slave2 Kafka==============="
    33. 

  33. echo "==============================================="
    34. 

  34. ssh slave2 "cd /usr/local/kafka/kafka_2.11-0.8.2.1;bin/kafka-server-stop.sh config/server.properties;exit;";
    35. 

  35. echo "==============================================="
    36. 

  36. echo "================停止服务成功！！！============="
    37. 

  37. echo "===============================================" ​


5、producer.sh




  1. #!bin/sh
    2. 

  2. echo "==============================================="
    3. 

  3. echo "================启动test主题生产者=============="
    4. 

  4. echo "==============================================="
    5. 

  5. kafka-console-producer.sh --broker-list 192.168.168.200:9092 --sync --topic test


6、consumer.sh




  1. #!bin/sh
    2. 

  2. echo "==============================================="
    3. 

  3. echo "================启动test主题消费者=============="
    4. 

  4. echo "==============================================="
    5. 

  5. kafka-console-consumer.sh --zookeeper 192.168.168.200:2181 --topic test


7、启动运行


打开第一个终端执行sh start-master.sh




打开第二个终端，执行sh start-slave1.sh




打开第三个终端，执行sh start-slave2.sh






其他的同上。


												


											
使用shell脚本批处理控制大数据环境服务启动停止的更多相关文章
	

    
								
  1. Dubbo入门到精通学习笔记（二）：Dubbo管理控制台、使用Maven构建Dubbo的jar包、在Linux上部署Dubbo privider服务（shell脚本）、部署consumer服务
		
    文章目录 Dubbo管理控制台 1.Dubbo管理控制台的主要作用: 2.管理控制台主要包含: 3.管理控制台版本: 安装 Dubbo 管理控制台 使用Maven构建Dubbo服务的可执行jar包 D ...
    
		
    2. 
						
  2. Linux Oracle服务启动&停止脚本与开机自启动
		
    在CentOS 6.3下安装完Oracle 10g R2,重开机之后,你会发现Oracle没有自行启动,这是正常的,因为在Linux下安装Oracle的确不会自行启动,必须要自行设定相关参数,首先先介 ...
    
		
    3. 
						
  3. Linux Oracle服务启动&停止脚本与开机自启动[转]
		
    在CentOS 6.3下安装完Oracle 10g R2,重开机之后,你会发现Oracle没有自行启动,这是正常的,因为在Linux下安装Oracle的确不会自行启动,必须要自行设定相关参数,首先先介 ...
    
		
    4. 
						
  4. 【转】Linux Oracle服务启动&停止脚本与开机自启动
		
    在CentOS 6.3下安装完Oracle 10g R2,重开机之后,你会发现Oracle没有自行启动,这是正常的,因为在Linux下安装Oracle的确不会自行启动,必须要自行设置相关参数,首先先介 ...
    
		
    5. 
						
  5. (转)Linux Oracle服务启动&停止脚本与开机自启动
		
    在CentOS 6.3下安装完Oracle 10g R2,重开机之后,你会发现Oracle没有自行启动,这是正常的,因为在Linux下安装Oracle的确不会自行启动,必须要自行设定相关参数,首先先介 ...
    
		
    6. 
						
  6. 在linux上oracle服务启动停止详细
		
    转至:https://www.cnblogs.com/baihuitestsoftware/articles/6365431.html 在CentOS 6.3下安装完Oracle 10g R2,重开机 ...
    
		
    7. 
						
  7. linux shell脚本守护进程监控svn服务
		
    最近搭建的svn服务不知道什么原因服务总是被关闭(如果你不知道怎么搭建svn可以参考linux下搭建svn版本控制软件),因此用shell脚本实现一个守护进程.用于监控svn服务是否启动,如果服务不在 ...
    
		
    8. 
						
  8. 钻牛角尖还是走进死胡同--shell脚本根据名称获得 dubbo 服务的 pid
		
    到了下午,突然觉得坐立不安,可能是因为中午没有休息好.老大不小了还在做页面整合的事情,这是参加工作时就干的工作了.然后突然想去挑战高级一点的缺陷排查,结果一不小心就钻了一个牛角尖.启动 dubbo 服 ...
    
		
    9. 
						
  9. 【shell脚本】自动监控tomcat服务===autoCheck.sh
		
    自动监控tomcat服务,当tommcat服务挂掉时自动重启 一.脚本内容 [root@localhost ]# cat /root/autoCheck.sh #!/bin/bash startTom ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. Python写一个批量生成账号的函数
			
    批量生成账户信息,产生的账户由@sina.com结尾,长度由用户输入,产生多少条也由用户输入,用户名不能重复,用户名必须由大写字母.小写字母和数字组成. def Users(num,len): # n ...
    
			
    2. 
						
  2. 2019-03-20-day015-序列化存储
			
    昨日回顾 序列化模块: json -- load dump dumps loads pickle -- load dump dumps loads shelve -- 文件 + 字典 f = shel ...
    
			
    3. 
						
  3. java学习笔记17（Calendarl类）
			
    Calendar类:(日历) 用法:Calendar是一个抽象类:不能实例化(不能new),使用时通过子类完成实现,不过这个类不需要创建子类对象,而是通过静态方法直接获取: 获取对象方法:getIns ...
    
			
    4. 
						
  4. SNAT/DNAT
			
    SNAT,是源地址转换,其作用是将ip数据包的源地址转换成另外一个地址. 名词解释 编辑 SNAT,可能有人觉得奇怪,好好的为什么要进行ip地址转换啊,为了弄懂这个问题,我们要看一下局域网用户上公网的 ...
    
			
    5. 
						
  5. python day11 ——1. 函数名的使⽤ 2. 闭包 3. 迭代器
			
    ⼀. 函数名的运⽤. 1.函数名的内存地址 def func():    print("呵呵") print(func) 结果: <function func at 0x11 ...
    
			
    6. 
						
  6. SQL注入之Sqli-labs系列第二十四关（二阶注入）
			
    开始挑战第二十四关(Second Degree Injections) 0x1 前言 SQL注入一般分为两类:一阶SQL注入(普通SQL注入),二阶SQL注入 .二次注入不是注入两次的意思,请不要混淆 ...
    
			
    7. 
						
  7. 如何在Ubuntu/Linux内使用 zip 压缩隐藏文件？
			
    假设你的当前目录结构为: A文件--B文件夹--C文件等 | | D文件夹-E文件 | | 等等文件(含隐藏) 那么在使用zip命令时加上 -r 即可包含整个目录结构和隐藏文件: zip -r B.z ...
    
			
    8. 
						
  8. maven初级
			
    ANT 和 分布式 ANT 是一种构建工具,就是eclips中项目,建立,删除..等等都是. 高负载访问一个服务器的时候,服务器会出现卡机或者访问速率降低的问题,这个时候就需要分布式的使用,将一个项目 ...
    
			
    9. 
						
  9. 检测IP地址冲突的shell脚本-check_server_ip_conflict.sh
			
    check_server_ip_conflict.sh 使用arping获取对应IP地址的MAC地址,如果和预料的不一致则报警: #!/bin/bash epg_addr_01="00:50 ...
    
			
    10. 
						
  10. 编译Thrift支持golang
			
    本文已经是很久以前的文章了,也不知道新版本thrift如何 Thrift是一个跨语言的服务部署框架,Thrift通过一个中间语言(IDL, 接口定义语言)来定义RPC的接口和数据类型,然后通过一个编译 ...
    
			
    11.