#!/bin/sh ## 参数定义 dt=`date +"%Y%m%d" -d "-1 days"` outpath=/xxxx_log_${dt}.txt brokerlist=,, echo $dt $outpath $brokerlist ## 查询hive表,输出文件到指定路径 hive -e "select name,age from test" > ${outpath} ## 判断文件大小,如果大于0,则加载文件,写入kafka

写在前面:案例.常用.归类.解释说明.(By Jim) 2>将STDEER输入到一个文件1>将STDOUT输入到一个文件&>将STDEER和STDOUT输入到同一个文件 在脚本中重定向输入 #!/bin/bash # redirecting file input exec <testfile count= while read line do echo "Line #$count:$line" count=$[ $count + ] done (从文件t

条件测试 格式 test condition 或 [ condition ] 使用方括号时,要注意在条件两边加上空格,如果有操作符,运算符之间也必须有空格 测试状态:测试的结果可以用$?的值来判断,0表示成功,其他为失败 --文件状态测试 -d 判断目录是否存在 -f 正规文件(是不是普通文件) -L 符号链接 -r 可读 -s 文件长度大于0.非空 -w 可写 -u 文件有suid位设置 -x 可执行 --逻辑测试 -a 逻辑与,操作符两边均为真,结果为真,否则为假 -o 逻辑或,操作符两边一

有时候需要紧急处理一些Excel列表中的数据,如提供一堆id列表,需要删除对应的表,一开始的办法是通过python pandas读取excel,然后拼接id元祖执行sql命令: 运维的同事说不用这么麻烦,写几行shell脚本就可以 先将需要的数据复制保存到文本文件中,统计文本行数可以用  wc -l hs.txt # 批量清空数据for i in $(cat tables.txt); do mysql -uroot -h127.0.0.1 -p'dfajfkljalm,m22121@e4rw23

一.pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4

Linux Shell 中写循环时,常常要用到变量的自增,现在总结一下整型变量自增的方法.我所知道的,bash中,目前有五种方法:1. i=`expr $i + 1`;2. let i+=1;3. ((i++));4. i=$[$i+1];5. i=$(( $i + 1 ))可以实践一下,简单的实例如下: #!/bin/bash i=0; while [ $i -lt 4 ]; do echo $i; i=`expr $i + 1`; # let i+=1; # ((i++)); # i=$[$

转至:https://blog.csdn.net/dj0379/article/details/50946398/ declare -i iv=$svnvlet iv+=1shell中变量自增的实现方法Linux Shell中写循环时,常常要用到变量的自增,现在总结一下整型变量自增的方法.我所知道的,bash中,目前有五种方法:1. i=`expr $i + 1`;2. let i+=1;3. ((i++));4. i=$[$i+1];5. i=$(( $i + 1 ))可以实践一下,简单的实例

  在了解重定向之前,我们先来看看linux 的文件描述符. linux文件描述符:可以理解为linux跟踪打开文件,而分配的一个数字,这个数字有点类似c语言操作文件时候的句柄,通过句柄就可以实现文件的读写操作. 用户可以自定义文件描述符范围是:3-num,这个最大数字,跟用户的:ulimit –n 定义数字有关系,不能超过最大值. linux启动后,会默认打开3个文件描述符,分别是:标准输入standard input 0,正确输出standard output 1,错误输出:error ou

#!/system/bin/busybox ash # # I.MX6 Android Linux shell MMPF0100 i2c 获取数据 # 说明: # 本文主要记录通过shell脚本来获取MMPF0100的数据,更多的是为了更为 # 方便的获取到数据,在进行一些调试的时候能够更有效. # # -- 深圳 南山平山村 曾剑锋 # # 检查参数个数 ]; then echo "USAGE:" echo " i2cData.sh <curPage> <

目录 背景 步骤 获取写文件的进程号 文件被那个进程使用,写数据不是用lsof可以找出来吗,但现实情况是lsof没找出来T_T 背景 centos7 在某一段时间监控报警磁盘使用率达99%,由于监控属于概要形式信息,没有快照信息的监控(能发现某进程的I/O,CPU消耗情况),所以需要在服务器上去定时执行统计命令获取快照信息. 需要通过iostat -dx -k去查看avgqu-sz.await.svctm.%util: sar -u查看%iowait.%user: pidstat -d 查看进程

本文是Linux Shell系列教程的第(十一)篇,更多Linux Shell教程请看:Linux Shell系列教程 在上一篇Linux Shell系列教程之(十)Shell for循环中,我们已经对Shell 循环语句的for循环进行了介绍,本篇给大家介绍下Shell 中另一种循环语句:Shell while循环. Shell while循环语法及特点 Shell while循环的语法如下所示: while command do Statement(s) to be executed if

http://www.cnblogs.com/chengmo/archive/2010/10/14/1851434.html nux shell有一套自己的流程控制语句,其中包括条件语句(if),循环语句(for,while),选择语句(case).下面我将通过例子介绍下,各个语句使用方法. 一.shell条件语句(if用法) if语句结构[if/then/elif/else/fi] if 条件测试语句 then action [elif 条件 action else action ] fi 如

本文是Linux Shell系列教程的第(十二)篇,更多Linux Shell教程请看:Linux Shell系列教程 在上两篇文章Linux Shell系列教程之(十)Shell for循环和Linux Shell系列教程之(十一)Shell while循环中,我们已经对Shell 循环语句的for循环和while循环进行了详细介绍,本篇给大家介绍下Shell 中的最后一种循环语句:Shell until循环. Shell until循环的介绍 Shell until循环和while循环差不多

#!/system/bin/busybox ash # # I.MX6 Android Linux shell MMPF0100 i2c 设置数据 # 说明: # 本文主要记录通过shell脚本来设置MMPF0100的数据. # # -- 深圳 南山平山村 曾剑锋 # # 检查参数个数 ]; then echo "USAGE:" echo " i2cSetData.sh <curPage> <address(hex)> <value(hex)&g

在xmanager中的xshell运行进入图形化界面 sh spoon.sh 新建一个job

原文链接:http://www.cnblogs.com/chengmo/archive/2010/10/14/1851434.html linux shell有一套自己的流程控制语句,其中包括条件语句(if),循环语句(for,while),选择语句(case).下面我将通过例子介绍下,各个语句使用方法. 一.shell条件语句(if用法) if语句结构[if/then/elif/else/fi] if 条件测试语句 then action [elif 条件 action else action

本文是Linux Shell系列教程的第(十)篇,更多Linux Shell教程请看:Linux Shell系列教程 基本任何语言都有自己的循环语句,Shell当然也不例外,今天就为大家介绍下Shell for循环的用法. Shell for循环语法 Shell for循环的语法如下所示 for 变量 in 列表 do command1 command2 ... commandN done 列表是一组值(数字.字符串等)组成的序列,每个值通过空格分隔.每循环一次,就将列表中的值依序放入指定的变量

Linux Shell   for循环结构 循环结构            1:循环开始条件      2:循环操作      3:循环终止的条件 shell语言          for,while,util    for循环 语法: (1) for 变量 in 取值列表:do     statement     statement done (2) for 变量 in 取值列表 do     statement     statement done 上面两个用法的效果是一样的. 取值列表:

linux shell 写swoole重启脚本 代码如下<pre>#!/bin/shkill `lsof -t -i:9501`sleep 2php /data/web/mircoweb/wwwroot/Public/swoole.phpsleep 1netstat -ntlp</pre> 如果不支持lsof命令 那就yum install lsof安装下吧

大致思路: canal去mysql拉取数据,放在canal所在的节点上,并且自身对外提供一个tcp服务,我们只要写一个连接该服务的客户端,去拉取数据并且指定往kafka写数据的格式就能达到以protobuf的格式往kafka中写数据的要求. 1. 配置canal(/bigdata/canal/conf/canal.properties),然后启动canal,这样就会开启一个tcp服务 2. 写拉取数据的客户端代码 PbOfCanalToKafka package cn._51doit.flink

linux 中定义一个数据的语法为: variable=(arg1 arg2 arg3 ....) 中间用空格分开.数组的下标从0开始. 1 获取下标为n的元素: variable[n] 而且不存在数组下标溢出的情况,如果 n>= 数组的长度,那么为空,不会报错. 2 获取数组长度 ${#variable[@]} 或者 ${#variable[*]} 那么如何用for遍历呢?一共有两种方式: for i in ${variable[@]}; do # do something.... done