之前的文章依赖是1对1或1多对的,但每个任务的前置任务都只有1个。

本文的核心在于一个任务依赖于多个任务的执行完成,如上图所示,这个任务就是fact,只有new和dviduser两个任务都完成的情况下,fact才能继续执行。

init_pipe.sh

# 初始化file descriptor
init_pipe(){
[ -e /tmp/fd1001 ] || mkfifo /tmp/fd1001
exec <>/tmp/fd1001
rm -rf /tmp/fd1001 [ -e /tmp/fd1002 ] || mkfifo /tmp/fd1002
exec <>/tmp/fd1002
rm -rf /tmp/fd1002 [ -e /tmp/fd1003 ] || mkfifo /tmp/fd1003
exec <>/tmp/fd1003
rm -rf /tmp/fd1003 [ -e /tmp/fd1004 ] || mkfifo /tmp/fd1004
exec <>/tmp/fd1004
rm -rf /tmp/fd1004 [ -e /tmp/fd1005 ] || mkfifo /tmp/fd1005
exec <>/tmp/fd1005
rm -rf /tmp/fd1005 [ -e /tmp/fd1006 ] || mkfifo /tmp/fd1006
exec <>/tmp/fd1006
rm -rf /tmp/fd1006 [ -e /tmp/fd1007 ] || mkfifo /tmp/fd1007
exec <>/tmp/fd1007
rm -rf /tmp/fd1007
} destroy_pipe(){
exec <&-
exec >&-
exec <&-
exec >&-
exec <&-
exec >&-
exec <&-
exec >&-
exec >&-
exec <&-
exec <&-
exec >&-
exec >&-
exec <&-
}

work.sh

# 初始化file descriptor

. init_pipe.sh
. sql_lib.sh
################################################################
newFun(){
start_day=$
end_day=$ while [ ${start_day} -le ${end_day} ]
do day=`date +"%Y-%m-%d" -d "${start_day}"` echo "${new_sql//_day_/${day}}"
hive -e "${new_sql//_day_/${day}}"
echo ${start_day} >&
start_day=`date +"%Y%m%d" -d "${start_day} 1 days" `
done
}
################################################################
factFun(){
start_day=$
end_day=$ while [ ${start_day} -le ${end_day} ]
do day=`date +"%Y-%m-%d" -d "${start_day}"` read -u j
read -u k
if [ ${start_day} -le $j -a ${start_day} -le $k ];then
echo "${fact_sql//_day_/${day}}"
hive -e "${fact_sql//_day_/${day}}"
echo ${start_day}>&
echo ${start_day}>&
echo ${start_day}>&
fi
start_day=`date +"%Y%m%d" -d "${start_day} 1 days" `
done
} ################################################################
dvidUserIdFun(){
start_day=$
end_day=$ while [ ${start_day} -le ${end_day} ]
do
day=`date +"%Y-%m-%d" -d "${start_day}"` echo "${dvid_user_id_sql//_day_/${day}}"
hive -e "${dvid_user_id_sql//_day_/${day}}"
echo ${start_day}>&
echo ${start_day}>&
echo ${start_day}>&
start_day=`date +"%Y%m%d" -d "${start_day} 1 days" `
done
} init_pipe newFun "${start}" "${end}" &
factFun "${start}" "${end}" &
dvidUserIdFun "${start}" "${end}" & wait destroy_pipe

shell多线程之进程间通信(3)的更多相关文章

  1. shell多线程之进程间通信(2)

    工作中往往遇到这种情况,有许多任务,依次执行比较浪费时间,由于任务之间有依赖关系,简单的并发执行又不行. 就如同下面这种情况,任务new和dvidUser是可以并发执行的,fact任务依赖于new任务 ...

  2. shell多线程之进程间通信

    # 这是一个简单的并发程序,有如下要求: # .有两个程序a和b,希望他们能并发执行,以节约时间 # .a和b都是按照日期顺序执行,但b每日程序的前提条件是当日a的程序已经执行完毕 #解决方案: # ...

  3. [shell进阶]——shell多线程

    关于shell的多线程 1. 多线程并发执行任务,而不用一台台的串行执行,能更快更高效 2. Shell并没有多线程的概念,所以: * 一般使用wait.read等命令技巧性地模拟多线程实 * 使用命 ...

  4. shell多线程,wait

    文章来源,wait的使用效果还是不错的 最近在使用shell做一些部署工作,在使用过程中,效率一直不高.想提高效率,经过分析发现,并不是所有操作都是需要串行的,一些操作是可以进行并行操作的.经过学习, ...

  5. shell多线程(2)之基于管道实现并发

    在shell脚本里批量执行程序是比较常见的方式,如果程序很多,每个执行时间比较长,则顺序执行需要花费大量的时间. 此时并发就成为我们考虑的方向. 上篇<shell多线程>中我们已经简单实现 ...

  6. linux shell 多线程执行程序

    Shell中并没有真正意义的多线程,要实现多线程可以启动多个后端进程,最大程度利用cpu性能. 直接看代码示例吧. (1) 顺序执行的代码 #!/bin/bash date ` do { echo & ...

  7. Unix/Linux编程实践教程(二:socket、多线程、进程间通信)

    同一接口不同的数据源: 协同进程: fdopen以文件描述符为参数: fopen和popen: 为了实现popen,必须在子进程中调用sh,因为只有shell本身即/bin/sh可以运行任意shell ...

  8. [转]linux shell 多线程实现

    情景 shell脚本的执行效率虽高,但当任务量巨大时仍然需要较长的时间,尤其是需要执行一大批的命令时.因为默认情况下,shell脚本中的命令是串行执行的.如果这些命令相互之间是独立的,则可以使用“并发 ...

  9. shell 命名管道,进程间通信

    命名管道基础 命名管道也被称为FIFO文件, 在文件系统中是可见的,并且跟其它文件一样可以读写! 命名管道特点: 当写进程向管道中写数据的时候,如果没有进程读取这些数据,写进程会堵塞 当读取管道中的数 ...

随机推荐

  1. BS_OWNERDRAW风格的作用和例子(值得研究,待续)

    TBitBtn就是一个例子: procedure TBitBtn.CreateParams(var Params: TCreateParams); begin inherited CreatePara ...

  2. 数据科学(data science)概览

    0. 硬件平台设计 一种分层的体系结构: 自下到上依次是: 硬件层 分布式系统层 分布式管理层 分布式处理层 应用层: 1. 总论

  3. ADO.net Connection对象简介

    Connection对象 学习的是刘皓的文章  ADO.NET入门教程(四) 品味Connection对象 这篇文章开始水平一般起来了,主要介绍了要优雅的使用这个对象 1 用try...catch.. ...

  4. Bootstrap Thumbnail

    Square Thumbnail with Image <!-- Square Thumbnail with Image --> <com.beardedhen.androidboo ...

  5. Hadoop入门实验

    一.实验目的 了解Hadoop的MapeReduce工作原理 二.实验内容 实现基于单机的伪分布式运行模拟 三.实验需要准备的软件和源 1.Jdk1.6以上 下载地址:http://www.oracl ...

  6. 算法 Tricks(六)—— 判断一个数是否为完全平方数

    int(sqrt(n)) * int(sqrt(n)) == n ? 1:0; matlab 下判断一个数是否能开方的判断是: floor(sqrt(m))^2 == m

  7. java的System.getProperty()值的方法可以得到

    java.version Java 执行时环境版本号 java.vendor Java 执行时环境供应商 java.vendor.url Java 供应商的 URL java.home Java 安装 ...

  8. Java之"Mozilla Rhino"引擎(二)

    在Java中使用Rhino, 能让你使用类似Groovy, ECMAScript...等等之类的不同动态脚本语言, 其中值得推荐的是ECMAScript, 它是Rhino的默认实现, 同时也在JDK1 ...

  9. ASP .NET Views文件夹下面的文件找不到

    习惯将页面和它对应的js,css文件放在一个文件夹下,将这些都放在Views文件夹下     运行的时候发现找不到js和css文件 因为在MVC中,是不建议直接去访问Views文件夹的我们建立的ASP ...

  10. WPF绑定到linq表达式

    using ClassLibrary;using System;using System.Collections.Generic;using System.Collections.ObjectMode ...