程序员就是把一切手工做的事情变成让计算机来做,从而可以让自己偷偷懒。

以下就是个非常low的hive文件夹同步程序,至于节点超过100个或者1000个的,可以加个循环了。

#!/bin/sh

#================ hive 安装包同步 =================#
# 该脚本用来将name节点的hive文件夹同步到data节点 #
# 当hive安装包变动时,需要同步data节点,否则oozie #
# 通过shell调用hive程序时,会因为分配的节点hive安 #
# 装包不同步而引起错误 #
#==================================================# # .清理旧的hive
ssh -t hadoop@dwprod-dataslave1 rm -r /opt/local/hive
ssh -t hadoop@dwprod-dataslave2 rm -r /opt/local/hive
ssh -t hadoop@dwprod-dataslave3 rm -r /opt/local/hive
ssh -t hadoop@dwprod-dataslave4 rm -r /opt/local/hive
ssh -t hadoop@dwprod-dataslave5 rm -r /opt/local/hive
ssh -t hadoop@dwprod-dataslave6 rm -r /opt/local/hive
ssh -t hadoop@dwprod-dataslave7 rm -r /opt/local/hive
ssh -t hadoop@dwprod-dataslave8 rm -r /opt/local/hive
ssh -t hadoop@dwprod-dataslave9 rm -r /opt/local/hive
ssh -t hadoop@dwprod-dataslave10 rm -r /opt/local/hive # .拷贝新的hive
scp -r -q /opt/local/hive hadoop@dwprod-dataslave1:/opt/local/
scp -r -q /opt/local/hive hadoop@dwprod-dataslave2:/opt/local/
scp -r -q /opt/local/hive hadoop@dwprod-dataslave3:/opt/local/
scp -r -q /opt/local/hive hadoop@dwprod-dataslave4:/opt/local/
scp -r -q /opt/local/hive hadoop@dwprod-dataslave5:/opt/local/
scp -r -q /opt/local/hive hadoop@dwprod-dataslave6:/opt/local/
scp -r -q /opt/local/hive hadoop@dwprod-dataslave7:/opt/local/
scp -r -q /opt/local/hive hadoop@dwprod-dataslave8:/opt/local/
scp -r -q /opt/local/hive hadoop@dwprod-dataslave9:/opt/local/
scp -r -q /opt/local/hive hadoop@dwprod-dataslave10:/opt/local/

集群同步hive的脚本的更多相关文章

  1. CentOS7使用集群同步脚本对配置文件同步分发

    1.介绍 使用集群同步脚本对配置文件同步分发 2.操作 1)在/root目录下创建bin目录,并在bin目录下创建文件xsync,文件内容如下: [root@hadoop101 ~]$ mkdir b ...

  2. Kafka的基本概念与安装指南(单机+集群同步)

    最近在搞spark streaming,很自然的前端对接的就是kafka.不过在kafka的使用中还是遇到一些问题,比如mirrormaker莫名其妙的丢失数据[原因稍后再说],消费数据offset错 ...

  3. 大数据学习路线:Hadoop集群同步技术分享

    今天给大家带来的技术分享是——Hadoop集群同步. 一.同步方式 选择一个机器,作为时间服务器(这里选择hadoop01),所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间. ...

  4. Kafka 跨集群同步方案(转)

    来自:http://tangzhaohui.net/524 Kafka 跨集群同步方案——Kafka内置的MirrorMaker工具 该方案解决Kafka跨集群同步.创建Kafka集群镜像等相关问题, ...

  5. troubleshooting-执行Oozie调度Hive导数脚本抛java.io.IOException: output.properties data exceeds its limit [2048]

    执行Oozie调度Hive导数脚本抛java.io.IOException: output.properties data exceeds its limit [2048] 原因分析 shell脚本中 ...

  6. Distcp 跨集群同步

    date: 2020-10-09 17:45:00 updated: 2020-10-10 17:45:00 Distcp 跨集群同步 1. 使用方法及原理 hadoop distcp srcPath ...

  7. HBase0.98使用ReplicationAdmin管理集群同步

    公司datalink平台负责从各种数据源读取数据并同步到其他的同步或者异构数据源,最近增加的HBase的reader利用到了Hbase的Replication特性. 正常情况下,我们配置HBase的R ...

  8. 大数据项目之_15_帮助文档_NTP 配置时间服务器+Linux 集群服务群起脚本+CentOS6.8 升级到 python 到 2.7

    一.NTP 配置时间服务器1.1.检查当前系统时区1.2.同步时间1.3.检查软件包1.4.修改 ntp 配置文件1.5.重启 ntp 服务1.6.设置定时同步任务二.Linux 集群服务群起脚本2. ...

  9. hive学习4(hive的脚本执行)

    hive的脚本执行 hive -e "SQL" hvie -f file 实例 [root@spark1 ~]# hive -e "show tables" # ...

随机推荐

  1. ASP中页面之间传递值的几种方式

    ASP.NET页面之间传递值的几种方式 页面传值是学习asp.net初期都会面临的一个问题,总的来说有页面传值.存储对象传值.ajax.类.model.表单等.但是一般来说,常用的较简单有QueryS ...

  2. matplotlib热图

    1.基础知识点回顾 1.plot(x, y, marker='D')表示绘制折线图,marker设置样式菱形. 2.scatter(x, y, marker='s', color='r')绘制散点图, ...

  3. Win32:引用头文件

    1.首先,在代码文件头部使用#include来包含任何头文件(扩展名为.h或者.hpp的文件)都不会“产生”额外的函数. 我们可以说,包含一个头文件之后,该头文件内部已经定义的一些变量,宏,函数等等资 ...

  4. Android开发10——Activity的跳转与传值

    Activity跳转与传值,主要是通过Intent类,Intent的作用是激活组件和附带数据. 一.Activity跳转 方法一Intent intent = new Intent(A.this, B ...

  5. [Jobdu] 题目1369:字符串的排列

    题目描述: 输入一个字符串,按字典序打印出该字符串中字符的所有排列.例如输入字符串abc,则打印出由字符a,b,c所能排列出来的所有字符串abc,acb,bac,bca,cab和cba. 输入: 每个 ...

  6. ev3dev :利用ssh登录系统

    ev3dev是在debian 8 的基础上修改的,主页上只介绍了利用usb连接系统后,ssh登录的方法. 可是我想用wifi连接到网络后,用ssh登录,非usb线连接. ev3dev的默认用户名为:r ...

  7. Disable Oracle Automatic Jobs

    By default, Oracle will run some maintance jobs every night. If you don't want to run those jobs, yo ...

  8. 深入理解node.js的module.export 和 export方法的区别

    你肯定非常熟悉nodejs模块中的exports对象,你可以用它创建你的模块.例如:(假设这是rocker.js文件) exports.name = function() { console.log( ...

  9. sqlite遇到database is locked问题的完美解决

    这两天在项目中用大强度大频率的方法测试时遇到sqlite报database is locked的问题,分析下来原因是sqlite对数据库做修改操作时会做(文件)锁使得其它进程同一时间使用时会报该错误( ...

  10. 开发song-list组件;

    注意点: 1.song-list的高度是通过计算动态获取的: 2.可以直接在{{}}调用函数,来显示函数的返回值: <template> <div class="song- ...