打算在跳板机上写一个shell脚本,批量检查远程服务器上的main进程是否在健康运行中. 先找出其中一台远程机器,查看main进程运行情况 [root@two002 tmp]# ps -ef|grep main root 23448 23422 0 11:40 pts/0 00:00:00 grep --color=auto main [root@two002 tmp]# ps -ef|grep main|grep -v grep|wc -l 0 shell检查脚本如下 [root@two002

最近都在写shell脚本,免不了遇到每个新手都要填的坑,在这里简单记录一下. test语句的坑 test语句在shell脚本里用的非常多,像if语句后面的其实都是test语句,也是新手最容易遇到坑的地方之一 (1)[: =: unary operator expected if [ $var = "hello" ]; then echo "world" fi 如果var的值为空,执行上面这段脚本的时候会出现这样的错误./test.sh: line 12: [: =:

shell解释器很娇气,有一点点不合乎规范的编码风格都会让脚本歇菜. 1. 空格该有还是该没有要看情况.该有的时候不能没有!该没有的时候不能有! 变量赋值的等号两边不能有空格. 2. 在shell中是不区分变量类型的,都是字符串. 一个字符串如果是(正或负)整数(不含除了负号之外的其他字符),就可以进行数值比较和运算. shell会根据操作自行转化.

打算在跳板机上写一个shell脚本,批量检查远程服务器上的main进程是否在健康运行中. 先找出其中一台远程机器,查看main进程运行情况 [root@two002 tmp]# ps -ef|grep main root 23448 23422 0 11:40 pts/0 00:00:00 grep --color=auto main [root@two002 tmp]# ps -ef|grep main|grep -v grep|wc -l 0 shell检查脚本如下 [root@two002

jenkins用来输出日志: tail -f  /tmp/i.log   & { sleep 15; eval 'kill -9 $!' &> /dev/null; } 去时间秒数:awk -F '[:+]+' '{print $1,$2,$3,$5}' filenamesed -E 's/:[0-9]{2} / /' filename 筛选时间段: sed -n '/08\/Oct\/2018:10:17:00 +0800\]/,/08\/Oct\/2018:10:20:00 +0

python3.6hdfs的使用 https://blog.csdn.net/qq_29863961/article/details/80291654 https://pypi.org/  官网直接搜索hdfs就好  https://www.cnblogs.com/dachenzi/p/8676104.html   flume官网http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html 最下方 一.Flume 简介1)

TMP和TEMP文件是各种软件或系统产生的临时文件,也就是常说的垃圾文件.Windows产生的临时文件,本质上和虚拟内存没什么两样,只不过临时文件比虚拟内存更具有针对性,单独为某个程序服务而已.而它的专一性导致了许多新手对他望而生畏,不删占据空间,删了又怕导致程序无法运行…… 一.大家在使用Windows操作系统的时候,可能会经常在C盘根目录发现一些后缀名为TMP的文件,还会在Windows目录里发现一个TEMP的目录.一些刚接触电脑的用户可能会觉得莫名其妙,这是什么东西来的,我没建立过这样的文

将脚本依赖关系放到表中 使用shell解析脚本依赖关系,递归的计算各个脚本. #!/bin/bash # dm 补数 basepath=$(cd ``; pwd) cd $basepath source /etc/profile source ../etc/env.ini ]]; then echo "参数格式错误!" echo "$0 [运算日期,格式:'yyyy-mm-dd'] [运算类型:down/up] [表名列表] " echo "注:运算类型:

Shell script prompt to run with superuser privileges [Purpose]        Check whether have root privileges to run script   [Eevironment]        Ubuntu 16.04 bash env   [Procdeure] Source code: #!/bin/bash ]]; then echo "This script requires root privil

Shell get script absolute path [Purpose]        Get shell script absolute path   [Eevironment]        Ubuntu 16.04 bash env   [Procdeure] Source code: #!/bin/bash echo "$(dirname "$(realpath "${BASH_SOURCE}")")" echo "$(

反弹shell背景: 想要搞清楚这个问题,首先要搞清楚什么是反弹,为什么要反弹.假设我们攻击了一台机器,打开了该机器的一个端口,攻击者在自己的机器去连接目标机器(目标ip:目标机器端口),这是比较常规的形式,我们叫做正向连接.远程桌面,web服务,ssh,telnet等等,都是正向连接. 那么什么情况下正向连接不太好用了呢?1.某客户机中了你的网马,但是它在局域网内,你直接连接不了.它的ip会动态改变,你不能持续控制.2.由于防火墙等限制,对方机器只能发送请求,不能接收请求.3.对于病毒,木马,

概述 很久之前就想研究一下 ssh 的多秘钥管理,今天正好有时间就研究了一下,挺简单的,记录下来,供以后开发时参考,相信对其他人也有用. 参考资料: Git - 生成 SSH公钥 , Linux 下多密钥管理 .ssh/config 文件的解释算法及配置原则 查看 ssh-keygen 命令信息 我们首先查看一下 ssh-keygen 这个命令的信息,先使用 man : man ssh-keygen 提示没有手册信息: No manual entry for ssh-kengen 那我们再使用

$ git status On branch feature/20160420_complain_630222 Untracked files: (use "git add <file>..." to include in what will be committed) 在文件夹中,经常会有些“其他”文件,比如上节课最后提到的,编辑器产生~结尾的备份文件,或者一些临时文件.又可能,某些文件我们只是在本地使用,并不想提交到远程的仓库中被别人看到.但如果我们不跟踪这些文件,Gi

这次分析源码根目录下的Makefile,它负责读入配置过的信息,通过OBJS.LIBS等变量设置能够参与镜像链接的目标文件,设定编译的目标等等. HOSTARCH := $(shell uname -m | \ sed -e s/i./x86/ \ -e s/sun4u/sparc64/ \ -e s/arm.*/arm/ \ -e s/sa110/arm/ \ -e s/ppc64/powerpc/ \ -e s/ppc/powerpc/ \ -e s/macppc/powerpc/\ -e

一.agent 第一步是定义agent(代理)及agent下的sources.channels.sinks的简称,如下: a1.sources = r1 a1.sinks = k1 a1.channels = c1 二.sources 第二步是定义sources(接收数据源),以下是常见的sources类型: 1.type = netcat =>监视一个端口,需要端口名称.端口号: bind = localhost port = 44444 2.type = exec =>监视一个文件,需要命

一.Flume监听端口 1,在linux机器上下载telnet工具 yum search telnet yumm install telnet.x86_64 2.编写flume的配置文件,并将文件复制到flume/conf文件夹下 #.agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 #.source netcat表示监视端口.localhost监视本机(也可以写本机名如hd1-) #44444端口号(随便写,注意不要与常用的端口号重复即可

1.Flume在集群中扮演的角色 Flume.Kafka用来实时进行数据收集,Spark.Storm用来实时处理数据,impala用来实时查询. 2.Flume框架简介 1.1 Flume提供一个分布式的,可靠的,对大数据量的日志进行高效收集.聚集.移动的服务,Flume只能在Unix环境下运行. 1.2 Flume基于流式架构,容错性强,也很灵活简单,主要用于在线实时分析. 1.3 角色 ** Source 用于采集数据,Source是产生数据流的地方,同时Source会将产生的数据流传输到C

Flume案例和Flume监控系统的使用: 安装 将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/software目录下 解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下 [hadoop@datanode1 software]$ tar -zxf apache-flume-1.7.0-bin.tar.gz -C /opt/module/ 3. 修改apache-flume-1.7.0-bin的名称为flume

第1章 Flume概述1.1 Flume定义1.2 Flume组成架构1.2.1 Agent1.2.2 Source1.2.3 Channel1.2.4 Sink1.2.5 Event1.3 Flume拓扑结构1.4 Flume Agent内部原理1.5 Hadoop三大发行版本第2章 Flume快速入门2.1 Flume安装地址2.2 安装部署第3章 Flume企业开发案例3.1 监控端口数据官方案例3.2 实时读取本地文件到HDFS案例3.3 实时读取目录文件到HDFS案例3.4 单数据源多

原文链接:[转]Flume NG 配置详解 (说明,名词对应解释 源-Source,接收器-Sink,通道-Channel) 配置 设置代理 Flume代理配置存储在本地配置文件.这是一个文本文件格式,是Java属性文件格式.在相同的配置文件,可以指定一个或多个代理的配置.配置文件包括每个源,接收器和通道,把它们连接在一起,形成数据流. 配置单个组件 流中每个组件(源,接收器或通道)都有名称,类型,和一组特定实例的属性.例如,Avro源需要一个接收数据的主机名(或IP地址)和端口号.一个内存通道