集群同步hive的脚本
程序员就是把一切手工做的事情变成让计算机来做,从而可以让自己偷偷懒。
以下就是个非常low的hive文件夹同步程序,至于节点超过100个或者1000个的,可以加个循环了。
#!/bin/sh #================ hive 安装包同步 =================#
# 该脚本用来将name节点的hive文件夹同步到data节点 #
# 当hive安装包变动时,需要同步data节点,否则oozie #
# 通过shell调用hive程序时,会因为分配的节点hive安 #
# 装包不同步而引起错误 #
#==================================================# # .清理旧的hive
ssh -t hadoop@dwprod-dataslave1 rm -r /opt/local/hive
ssh -t hadoop@dwprod-dataslave2 rm -r /opt/local/hive
ssh -t hadoop@dwprod-dataslave3 rm -r /opt/local/hive
ssh -t hadoop@dwprod-dataslave4 rm -r /opt/local/hive
ssh -t hadoop@dwprod-dataslave5 rm -r /opt/local/hive
ssh -t hadoop@dwprod-dataslave6 rm -r /opt/local/hive
ssh -t hadoop@dwprod-dataslave7 rm -r /opt/local/hive
ssh -t hadoop@dwprod-dataslave8 rm -r /opt/local/hive
ssh -t hadoop@dwprod-dataslave9 rm -r /opt/local/hive
ssh -t hadoop@dwprod-dataslave10 rm -r /opt/local/hive # .拷贝新的hive
scp -r -q /opt/local/hive hadoop@dwprod-dataslave1:/opt/local/
scp -r -q /opt/local/hive hadoop@dwprod-dataslave2:/opt/local/
scp -r -q /opt/local/hive hadoop@dwprod-dataslave3:/opt/local/
scp -r -q /opt/local/hive hadoop@dwprod-dataslave4:/opt/local/
scp -r -q /opt/local/hive hadoop@dwprod-dataslave5:/opt/local/
scp -r -q /opt/local/hive hadoop@dwprod-dataslave6:/opt/local/
scp -r -q /opt/local/hive hadoop@dwprod-dataslave7:/opt/local/
scp -r -q /opt/local/hive hadoop@dwprod-dataslave8:/opt/local/
scp -r -q /opt/local/hive hadoop@dwprod-dataslave9:/opt/local/
scp -r -q /opt/local/hive hadoop@dwprod-dataslave10:/opt/local/
集群同步hive的脚本的更多相关文章
- CentOS7使用集群同步脚本对配置文件同步分发
1.介绍 使用集群同步脚本对配置文件同步分发 2.操作 1)在/root目录下创建bin目录,并在bin目录下创建文件xsync,文件内容如下: [root@hadoop101 ~]$ mkdir b ...
- Kafka的基本概念与安装指南(单机+集群同步)
最近在搞spark streaming,很自然的前端对接的就是kafka.不过在kafka的使用中还是遇到一些问题,比如mirrormaker莫名其妙的丢失数据[原因稍后再说],消费数据offset错 ...
- 大数据学习路线:Hadoop集群同步技术分享
今天给大家带来的技术分享是——Hadoop集群同步. 一.同步方式 选择一个机器,作为时间服务器(这里选择hadoop01),所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间. ...
- Kafka 跨集群同步方案(转)
来自:http://tangzhaohui.net/524 Kafka 跨集群同步方案——Kafka内置的MirrorMaker工具 该方案解决Kafka跨集群同步.创建Kafka集群镜像等相关问题, ...
- troubleshooting-执行Oozie调度Hive导数脚本抛java.io.IOException: output.properties data exceeds its limit [2048]
执行Oozie调度Hive导数脚本抛java.io.IOException: output.properties data exceeds its limit [2048] 原因分析 shell脚本中 ...
- Distcp 跨集群同步
date: 2020-10-09 17:45:00 updated: 2020-10-10 17:45:00 Distcp 跨集群同步 1. 使用方法及原理 hadoop distcp srcPath ...
- HBase0.98使用ReplicationAdmin管理集群同步
公司datalink平台负责从各种数据源读取数据并同步到其他的同步或者异构数据源,最近增加的HBase的reader利用到了Hbase的Replication特性. 正常情况下,我们配置HBase的R ...
- 大数据项目之_15_帮助文档_NTP 配置时间服务器+Linux 集群服务群起脚本+CentOS6.8 升级到 python 到 2.7
一.NTP 配置时间服务器1.1.检查当前系统时区1.2.同步时间1.3.检查软件包1.4.修改 ntp 配置文件1.5.重启 ntp 服务1.6.设置定时同步任务二.Linux 集群服务群起脚本2. ...
- hive学习4(hive的脚本执行)
hive的脚本执行 hive -e "SQL" hvie -f file 实例 [root@spark1 ~]# hive -e "show tables" # ...
随机推荐
- HDUOJ---1754 Minimum Inversion Number (单点更新之求逆序数)
Minimum Inversion Number Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java ...
- CSS:CSS 在工程中改变——面向对象的CSS (OO CSS)
一.OO CSS 的概念解读 (一)众多开发者忽视了CSS的表现,认为其太过简单,是一种机械的工作,而把更多关注在JS的性能或者其他方面. (二)OO CSS 将页面可重用元素抽象成一个类,用cla ...
- 【LeetCode】130. Surrounded Regions (2 solutions)
Surrounded Regions Given a 2D board containing 'X' and 'O', capture all regions surrounded by 'X'. A ...
- iOS:即时通讯之<了解篇 SocKet>
什么是socket? 计算机专业术语就是: 网络上的两个程序通过一个双向的通信连接实现数据的交换,这个连接的一端称为一个socket.Socket的英文原义是“孔”或“插座”.作为BSD UNIX的进 ...
- jdbc与odbc的差别,感悟,学习。。。
什么是JDBC? JDBC, 全称为Java DataBase Connectivity standard, 它是一个面向对象的应用程序接口(API), 通过它可訪问各类关系数据库.JDBC也是jav ...
- python 实现一个双色球生成程序
最近学习Python的Random函数,就顺手写一个随机数的双色球程序,开发环境:python2.7 , 附上源代码如下: # _*_ coding:utf- _*_ import random qi ...
- Python 元组 index() 方法
描述 Python 元组 index() 方法用于从元祖中找出某个对象第一个匹配项的索引位置,如果这个对象不在元祖中会报一个异常. 语法 index() 方法语法: T.index(obj[,star ...
- stm32 spi1 bug
stm32 spi1调试NRF24L01时该模块作为接收机时,能收到数据,作为发送机时,发不出数据(虽然读NRF的寄存器显示数据已经发出,但实际并发不出),换到SPI2问题解决
- 在ubuntu16.4中为pycharm创建桌面快捷启动方式
在ubuntu环境中每次使用pycharm需要到它的安装目录中执行./pycharm.sh来启动pycharm.比较麻烦,既然ubuntu提供了桌面环境我们应该从分利用.哈哈哈... 上干货 我的py ...
- thinkphp中获取参数值的方法
以获取$type这个参数为例:一:通过传统方法:$_GET, $_POST $type = intval($_GET['type'])这种方法需要自己写过滤规则,保证数据安全. 二:在Actio ...