读取配置文件,进行文件位置转移

在whenb.csv中指定了需要从/home/root/cf/下移除到/home/root/cf_wh/下文件列表,whenb.csv中包含记录如下:

enb-
enb-
enb-
....

具体实现的shell脚本:

#!/bin/sh
enbArr=()
idx=
for line in `cat whenb.csv`
do
enbArr[$idx]=$line
let idx=$idx+
done for data in ${enbArr[@]}
do
$('mv /home/root/cf/'$data'.txt /home/root/cf_wh/'$data'.txt')
done

按照map配置,进行文件上传hdfs

配置map(key[path],value[文件名称])

#!/bin/sh
declare -A fLibMap
fLibMap["dx_distri_0"]="1068705,1068795,1068882,1068957,1069682,1092606,1092743,1092840"
fLibMap["dx_distri_1"]="1068706,1068796,1068883,1068958,1069683,1092607,1092744,1092841"
fLibMap["dx_distri_2"]="1068707,1068797,1068885,1068960,1069710,1092608,1092748,1092844"
fLibMap["dx_distri_3"]="1068708,1068798,1068886,1068963,1069717,1092609,1092749,1092845"
fLibMap["dx_distri_4"]="1068709,1068799,1068888,1068964,1069718,1092610,1092750,1092846"
fLibMap["dx_distri_5"]="1068710,1068803,1068889,1068966,1069721,1092611,1092751,1092847"
fLibMap["dx_distri_6"]="1068711,1068805,1068890,1068967,1069727,1092612,1092752,1092848"
fLibMap["dx_distri_7"]="1068712,1068806,1068892,1068968,1092513,1092613,1092753,1092849"
fLibMap["dx_distri_8"]="1068713,1068807,1068893,1069015,1092517,1092614,1092755,1092850"
fLibMap["dx_distri_9"]="1068714,1068808,1068894,1069023,1092518,1092615,1092756,1092851" for key in ${!fLibMap[@]};do
echo $key
hadoop fs -mkdir /user/dx/config/hb/flibTopic/$key/
fbEnbsStr=${fLibMap[$key]}
OLD_IFS="$IFS"
IFS=","
fbEnbsArr=($fbEnbsStr)
IFS="$OLD_IFS" for fbEnb in ${fbEnbsArr[@]};do
#hadoop fs -put /home/dx/oozie_signal/spark/flib/.txt /user/dx/config/hb/flibTopic/ltemr_uemr_distri_2/
hadoop fs -put /home/dx/oozie_signal/spark/flib/$fbEnb.txt hdfs://spcluster/user/dx/config/hb/flibTopic/fingerTopic/$key/
echo 'hadoop fs -put /home/dx/oozie_signal/spark/flib/'$fbEnb'.txt hdfs://spcluster/user/dx/config/hb/flibTopic/'$key'/'
done & #经过测试,这种方式也可以实现 $key 的安全性、一致性。
done # (未测试,担心安全性)可以测试线,这个循环也采用并行是否分发性能有提高。

Linux Shell:根据指定的文件列表 或 map配置,进行文件位置转移的更多相关文章

  1. linux shell 删除指定文件夹下面 名称不包含指定字符的文件

    find /app/jenkins/jenkins/jobs/scam/* ! -name config.xml | xargs rm -rf 删除/app/jenkins/jenkins/jobs/ ...

  2. linux shell 脚本攻略学习10--生成任意大小的文件和文本文件的交集与差集详解

    一.生成任意大小的文件(dd命令): 举例: amosli@amosli-pc:~/learn/example$ ; + records in + records out bytes ( MB/s a ...

  3. linux下查找指定时间内修改过的或新建的文件

    1.简单命令 # find -type f \( -newermt '2017-04-19 00:00' -a -not -newermt '2017-04-27 23:59' \) 2.简单实现(参 ...

  4. Linux下搭建Oracle11g RAC(3)----创建用户及配置相关文件

    配置11gR2 RAC需要安装Oracle Grid Infrastructure软件.Oracle数据库软件,其中Grid软件等同于Oracle 10g的Clusterware集群件.Oracle建 ...

  5. sublime text 3 文件列表忽略特定格式的文件

    Preferences->Settings ,编辑相关代码,注意JSON格式: 排除特定目录,使用:"folder_exclude_patterns" 排除特定文件,使用:& ...

  6. 查找存在某字符的文件列表,不包括svn文件

    find . ! -wholename '*.svn*' -print | xargs grep "img" | awk -F ':.' '{print $1}' | uniq

  7. Java读取Properties文件 Java加载配置Properties文件

    static{ Properties prop = new Properties(); prop.load(Thread.currentThread().getContextClassLoader() ...

  8. Linux下查找指定日期的文件

    一.背景 Linux服务器的一个目录里,每天产生海量的文件.为了防止磁盘被写满. 决定每天删除部分老文件.OK,问题来了,如何过滤出指定日期的文件? 二.强大的Linux 一行代码搞定: ls --f ...

  9. Linux Shell常用shell命令

    Linux Shell常用shell命令 一.文件.目录操作命令 1.ls命令 功能:显示文件和目录的信息 ls 以默认方式显示当前目录文件列表 ls -a 显示所有文件包括隐藏文件 ls -l 显示 ...

随机推荐

  1. ABAP-JCO服务错误

    1.错误如下图,需SM59调整Unicode,保持JCO服务启动时与SAP-SM59设置Unicode一致.

  2. .net core jenkins持续集成

    执行 Shell pwd ls echo ${PATH} whoami which dotnet dotnet --info dotnet --version echo '============== ...

  3. MySQL数据库入门到高薪培训教程(从MySQL 5.7 到 MySQL 8.0)

    一.MySQL数据库入门到高薪培训视频教程(从MySQL5.7到MySQL8.0) 本套MySQL学习教程地址: https://edu.51cto.com/course/18034.html 为满足 ...

  4. Linux 常见 RAID 及软 RAID 创建

    RAID可以大幅度的提高磁盘性能,以及可靠性,这么好的技术怎么能不掌握呢!此篇介绍一些常见RAID,及其在Linux上的软RAID创建方法. mdadm 创建软RAID mdadm -C -v /de ...

  5. oracle instantclient_12_2安装

    下载地址 http://www.oracle.com/technetwork/database/database-technologies/instant-client/downloads/index ...

  6. Python,while循环小例子--猜拳游戏(三局二胜)

    Python,while循环小例子--猜拳游戏(三局二胜) import random all_choice = ['石头', '剪刀', '布'] prompt = '''(0)石头 (1)剪刀 ( ...

  7. websocket简单样例

    服务端 var server = require('ws').Server; }); serv.on('connection',function(socket){ socket.send('hello ...

  8. 微信小程序——选择某个区间的数字

    很久没有更新文章啦~~记录下今天弄的一个小功能. 先上图: 需求很简单: 第1列改变的时候,第2列也随着改变,并且比第1列大1k. 这里用到了微信的picker 组件,对于不太熟练这个组件的小伙伴可以 ...

  9. Optimal Marks SPOJ - OPTM(最小割)

    传送门 论文<最小割模型在信息学竞赛中的应用>原题 二进制不同位上互不影响,那么就按位跑网络流 每一位上,确定的点值为1的与S连一条容量为INF的有向边.为0的与T连一条容量为INF的有向 ...

  10. LOJ P10008 家庭作业 题解

    每日一题 day45 打卡 Analysis 这道题跟LOJ P10004 一样,但是数据范围不同,不允许O(n²) 的贪心算法通过. 我们可以加一个limit 来判断这个截止期限已经不行了,所以以后 ...