任务需要:当我需要对一个文件夹中的文件,分别压缩的时候: 原始的代码: #!/usr/bin/shell function getdir(){ for element in `ls $1` do #echo $element dir_or_file=$1$element #echo $dir_or_file if [ -d $dir_or_file ] then #echo tar cvf tar_data/$element.tar $dir_or_file `zip -q -r ../tar_

关于shell的多线程 1. 多线程并发执行任务,而不用一台台的串行执行,能更快更高效 2. Shell并没有多线程的概念,所以: * 一般使用wait.read等命令技巧性地模拟多线程实 * 使用命名管道(fifo)来实现多线程的控制 3. 用途:需要对多主机批量执行检查或操作时(例如ssh.ping等操作) 分段解析一个例子来理解一个多线程脚本的书写 1. 新建fifo类型文件 tmp_fifofile="/tmp/$$.fifo" mkfifo $tmp_fifofile #新建

文章来源,wait的使用效果还是不错的 最近在使用shell做一些部署工作,在使用过程中,效率一直不高.想提高效率,经过分析发现,并不是所有操作都是需要串行的,一些操作是可以进行并行操作的.经过学习,shell里面也是可以进行多线程编程的,而且十分方便,同时,wait命令可以进行shell的多线程同步控制.下面是shell多线程和wait命令的一些学习体会.错误之处,还请大家指正. 一.启动后台子任务 在执行命令后加&操作符,表示将命令放在子shell中异步执行.可以达到多线程效果.如下, #等

在shell脚本里批量执行程序是比较常见的方式,如果程序很多,每个执行时间比较长,则顺序执行需要花费大量的时间. 此时并发就成为我们考虑的方向. 上篇<shell多线程>中我们已经简单实现了基于for循环的并发,可以显著提高工作效率: 缺点是CPU的核心不是无限的,如果全部占用,则会影响系统的正常运行. 这个时候我们就考虑利用linux系统的管道来进行最大并发数的管控. 1.举例: 一个厕所有10个蹲位,如果100个人来使用,则势必形成竞争,这时管理员给每个蹲位一个锁和一把钥匙,先来的人拿钥匙

Java:多线程计数 本笔记是根据bilibili上 尚硅谷 的课程 Java大厂面试题第二季 而做的笔记 1. CountDownLatch 概念 让一些线程阻塞直到另一些线程完成一系列操作才被唤醒 CountDownLatch 主要有两个方法,当一个或多个线程调用 await 方法时,调用线程就会被阻塞.其它线程调用CountDown 方法会将计数器减1(调用 CountDown 方法的线程不会被阻塞),当计数器的值变成零时,因调用await 方法被阻塞的线程会被唤醒,继续执行. 场景 现在

Shell中并没有真正意义的多线程,要实现多线程可以启动多个后端进程,最大程度利用cpu性能. 直接看代码示例吧. (1) 顺序执行的代码 #!/bin/bash date ` do { echo "sleep 5" } done date 输出: Sat Nov :: CST Sat Nov :: CST (2) 并行代码 使用'&'+wait 实现"多进程"实现 #!/bin/bash date ` do { echo "sleep 5&quo

情景 shell脚本的执行效率虽高,但当任务量巨大时仍然需要较长的时间,尤其是需要执行一大批的命令时.因为默认情况下,shell脚本中的命令是串行执行的.如果这些命令相互之间是独立的,则可以使用“并发”的方式执行这些命令,这样可以更好地利用系统资源,提升运行效率,缩短脚本执行的时间.如果命令相互之间存在交互,则情况就复杂了,那么不建议使用shell脚本来完成多线程的实现. 为了方便阐述,使用一段测试代码.在这段代码中,通过seq命令输出1到10,使用for...in语句产生一个执行10次的循环.

前言 最近在学习ConcurrentHashMap的源码,发现它采用了一种比较独特的方式对map中的元素数量进行统计,自然是要好好研究一下其原理思想,同时也能更好地理解ConcurrentHashMap本身. 本文主要思路分为以下4个部分 1.计数的使用效果 2.原理的直观图解 3.源码的细节分析 4.思想的抽象 学习的入口自然是map的put方法 public V put(K key, V value) { return putVal(key, value, false); } 查看putVa

工作中往往遇到这种情况,有许多任务,依次执行比较浪费时间,由于任务之间有依赖关系,简单的并发执行又不行. 就如同下面这种情况,任务new和dvidUser是可以并发执行的,fact任务依赖于new任务,fact执行完之后last和stat才能执行: dvidUser执行完之后dvid和User两个任务才能执行. 针对这种情况,我考虑了操作系统中的信号量机制,通过借助linux中的文件描述符(以下称pipe)来实现这几个任务的并发. 当new执行完之后,向pipe-7中写入自己当前执行的ID(在程

不熟悉 io 重定向的童鞋,先学习一下相关知识 http://www.linuxplus.org/kb/io-redirection.html 下面是简单代码 #!/bin/bash tmpfile='fifo' mkfifo $tmpfile #创建一个先进先出队列 exec 6<>$tmpfile #使用文件描述符6关联$tmpfile for((i=0;i<5;i++));do #初始化 你想并发几个就循环几次, echo >&6 就是往队列里放5个空值,让后面的 r

之前的文章依赖是1对1或1多对的,但每个任务的前置任务都只有1个. 本文的核心在于一个任务依赖于多个任务的执行完成,如上图所示,这个任务就是fact,只有new和dviduser两个任务都完成的情况下,fact才能继续执行. init_pipe.sh # 初始化file descriptor init_pipe(){ [ -e /tmp/fd1001 ] || mkfifo /tmp/fd1001 exec <>/tmp/fd1001 rm -rf /tmp/fd1001 [ -e /tmp/

# 这是一个简单的并发程序,有如下要求: # .有两个程序a和b,希望他们能并发执行,以节约时间 # .a和b都是按照日期顺序执行,但b每日程序的前提条件是当日a的程序已经执行完毕 #解决方案: # .创建一个文件描述符作为pipe,a程序每次执行完就把一个日期发送给pipe,然后继续执行 # .b程序每次执行时先从pipe读取a的日期,如果a的日期>=b的日期,则b继续执行,否则阻塞. [ -e /tmp/fd5 ] || mkfifo /tmp/fd5 exec <>/tmp/fd5

start="2018-06-17" end="2018-07-01" min=`date -d "${start}" +%Y%m%d` max=`date -d "${end}" +%Y%m%d` [ -e /tmp/fd3 ] || mkfifo /tmp/fd3 exec <>/tmp/fd3 rm -rf /tmp/fd3 ;i<=;i++)) do done while [ $min -le $ma

a='a1' b='b1' c='c1' d='d1' e='e1' ARR=($a $b $c $d $e) rd=`date +%N` for i in ${ARR[*]} do { ;>>aa && echo "done!""${i}""$RANDOM" }& done wait

    1.pThread 跨平台的多线程技术 , 是IEEE制定的POSIX 表示可移植性操作系统接口的多线程计数,UNIX内核平台 Unix,Linux,Mac(小红帽) (windows上有可移植的版本),C语言的API.   2.NSThread OC 线程技术   3.该方法只是初始化了一个子线程,但是线程并没有开启,必须用[thread start] 开启线程 target 调用对象 SEL 绑定的事件 object 附带的参数   4.设置线程名字 thread.name = @"

目录 C#多线程编程系列(二)- 线程基础 1.1 简介 1.2 创建线程 1.3 暂停线程 1.4 线程等待 1.5 终止线程 1.6 检测线程状态 1.7 线程优先级 1.8 前台线程和后台线程 1.9 向线程传递参数 1.10 C# Lock关键字的使用 1.11 使用Monitor类锁定资源 1.12 多线程中处理异常 参考书籍 笔者水平有限,如果错误欢迎各位批评指正! C#多线程编程系列(二)- 线程基础 1.1 简介 线程基础主要包括线程创建.挂起.等待和终止线程.关于更多的线程的底

Tkinter模块("Tk 接口")是Python的标准Tk GUI工具包的接口.Tk和Tkinter可以在大多数的Unix平台下使用,同样可以应用在Windows和Macintosh系统里.Tk8.0的后续版本可以实现本地窗口风格,并良好地运行在绝大多数平台中 Tkinter包含了若干模块. Tk接口被封装在一个名为 _tkinter 二进制模块里( tkinter 的早期版本). 这个模块包含了Tk的低级接口,因而它不会被程序员直接应用.它通常表现为一个共享库(或DLL文件),但在

    使用锁能解决并发时线程安全性,但锁的代价比较大,而且降低性能.有些时候可以使用原子类(juc-atomic包中的原子类).还有一些其他的非加锁式并发处理方式,我写这篇文章来源于Java中有哪些无锁技术来解决并发问题的思考. 1.原子类场景 刚才说了,原子类是在不加锁的情况下,实现并发安全.我们知道锁synchronized/lock能实现并发安全的三点要求:原子性.可见性和有序性.而原子类顾名思义可以保证原则性其他两点不能确定(我是边想边写的,后面我会给出结论). 好吧,写不下去了,还是

多线程计数,每个线程累加10个数. 实现: #include <stdio.h> #include <stdlib.h> #include <string.h> #include <errno.h> #include <pthread.h> pthread_mutex_t num_lock; ; ; void* foo1() { #if 1 pthread_mutex_lock(&num_lock); ;i<;++i) { num

一.单例模式的介绍 单例模式简单说就是掌握系统的至高点,在程序中只实例化一次,这样就是单例模式,在系统比如说你是该系统的登录的第多少人,还有数据库的连接池等地方会使用,单例模式是最简单,最常用的模式之一,面试经常会问答,所以我们在程序考虑什么地方会用到单例模式,单例模式写法有很多种,这里我下面列举2种写法很普遍的写法,然后做个多线程计数的例子大家来理解一下单例模式的用法. 二.单例模式Demo /// <summary>    /// 利用C#的特性单例模式    /// </summa

原文链接 linux下默认是不产生core文件的,要用ulimit -c unlimited放开 概述 系统性能一直是一个受关注的话题,如何通过最简单的设置来实现最有效的性能调优,如何在有限资源的条件下保证程序的运作,ulimit 是我们在处理这些问题时,经常使用的一种简单手段.ulimit 是一种 linux 系统的内键功能,它具有一套参数集,用于为由它生成的 shell 进程及其子进程的资源使用设置限制.本文将在后面的章节中详细说明 ulimit 的功能,使用以及它的影响,并以具体的例子来详