cfg # This is generated to be a configuration file. # kay # // # This is a parameter for crontab and objective file. interval= begin= end= # There are some log path # logpath=/root/shell/log/;/root/shell/log/;/root/shell/log/ logpath=/home/pospadm/tr…

本次实战目标为日志脱敏,将日志目录内的所有文件进行处理,凡是涉及到卡号和密码的信息,一律以“*”号替代,要替代的内容都从对应的标签内获取,本脚本执行目录 drwxr-xr-x 5 root root 4096 May 31 20:20 log -rw-r--r-- 1 root root 57 May 31 20:20 cfg.log -rw-r--r-- 1 root root 3 May 31 20:28 cfg.time -rwxr-xr-x 1 root root 1625 May 31…

util.sh #!/bin/bash - # Read config # kay # Version: 1.0 # // # configuration file path config=${log_bak}/"cfg" # config parameters prefix=`grep -v "^#" ${config}` begin=`echo "${prefix}" | grep 'begin' | awk -F '=' '{ print…

项目介绍 日志脱敏是常见的安全需求.普通的基于工具类方法的方式,对代码的入侵性太强.编写起来又特别麻烦. 本项目提供基于注解的方式,并且内置了常见的脱敏方式,便于开发. 特性 基于注解的日志脱敏. 可以自定义策略实现,策略生效条件. 常见的脱敏内置方案. java 深拷贝,且原始对象不用实现任何接口. 支持用户自定义注解. 自定义注解 maven 导入 <dependency> <groupId>com.github.houbb</groupId> <artifa…

项目介绍 日志脱敏是常见的安全需求.普通的基于工具类方法的方式,对代码的入侵性太强.编写起来又特别麻烦. 本项目提供基于注解的方式,并且内置了常见的脱敏方式,便于开发. 用户也可以基于自己的实际需要,自定义注解. 特性 基于注解的日志脱敏 可以自定义策略实现,策略生效条件 常见的脱敏内置方案 java 深拷贝,且原始对象不用实现任何接口. 快速开始 maven 导入 <dependency> <groupId>com.github.houbb</groupId> <…

项目介绍 日志脱敏是常见的安全需求.普通的基于工具类方法的方式,对代码的入侵性太强.编写起来又特别麻烦. 本项目提供基于注解的方式,并且内置了常见的脱敏方式,便于开发. 特性 基于注解的日志脱敏. 可以自定义策略实现,策略生效条件. 常见的脱敏内置方案. java 深拷贝,且原始对象不用实现任何接口. 支持用户自定义注解. 自定义注解 maven 导入 <dependency> <groupId>com.github.houbb</groupId> <artifa…

今天,要统计一个系统的每个ip访问次数,于是我找到该系统访问日志,并写脚本实现.   访问日志情况: [root@qular ~]# cd /usr/local/nginx/logs/ [root@qunlar logs]# head access.log  59.151.44.186 - - [15/Dec/2014:20:19:11 +0800] "POST http://ebws.travelsky.com/etcwip/services/CWIPService HTTP/1.0"…

Java 加载Properties 配置文件: ResourceBundle bundle = ResourceBundle.getBundle("log4j_filter"); // 不要写扩展名 .properties LOG_FILTER_SWITH = bundle.getString("log4j.filter.swith"); LOG_FILTER_KEYS = bundle.getString("log4j.filter.keys"…

问题 为了保证用户的信息安全,敏感信息需要脱敏. 项目开发过程中,每次处理敏感信息的日志问题感觉很麻烦,大部分都是用工具类单独处理,不利于以后统一管理,很不优雅. 于是,就写了一个基于 java 注解的日志脱敏工具. github sensitive 项目介绍 日志脱敏是常见的安全需求.普通的基于工具类方法的方式,对代码的入侵性太强.编写起来又特别麻烦. 本项目提供基于注解的方式,并且内置了常见的脱敏方式,便于开发. 用户也可以基于自己的实际需要,自定义注解. 变更日志 日志脱敏 为了金融交易的…

Shell + crontab 实现日志压缩归档 crontab # archive the ats log days. */ * * * * root /bin/>& shell #!/bin/bash # Author : standby # Date : -- # Description : Archive the live log, keep the lastest days. logdir="/data/ats/logs" TODAY=`date -d &quo…

linux shell 基础 使用日志与心得 1.#!/bin/bash 第一行就出现#!/bin/bash是指此脚本使用/bin/bash来解释执行.其中,#!是一个特殊的表示符,其后,跟着解释此脚本的shell路径.bash只是shell的一种,还有很多其它shell,如:sh,csh,ksh,tcsh,...详细介绍:http://blog.sina.com.cn/s/blog_6336857901019zyz.html 2.export PATHPATH=/bin:/sbin:/usr/…

0 Asp.Net Core 项目实战之权限管理系统(0) 无中生有 1 Asp.Net Core 项目实战之权限管理系统(1) 使用AdminLTE搭建前端 2 Asp.Net Core 项目实战之权限管理系统(2) 功能及实体设计 3 Asp.Net Core 项目实战之权限管理系统(3) 通过EntityFramework Core使用PostgreSQL 4 Asp.Net Core 项目实战之权限管理系统(4) 依赖注入.仓储.服务的多项目分层实现 5 Asp.Net Core 项目实…

0 前言 Net Core 项目实战之权限管理系统(0) 无中生有   0 http://www.cnblogs.com/fonour/p/5848933.html 学习的最好方法就是动手去做,这里以开发一个普通的权限管理系统的方式来从零体验和学习Asp.net Core.项目的整体规划大致如下: 技术路线 Asp.net Core Mvc EntityFrameworkCore Bootstrap AdminLTE PostgreSQL 实现功能 组织机构管理 角色管理 用户管理 功能管理 权…

如果shell打印的日志很多,屏幕无法完全显示,需要查看shell执行的情况,这是就需要输入到日值了: 如:echo "2012-6-14" | tee -a my.log -a表示添加,不覆盖日志 sh test.sh | tee mylog 这种会覆盖日志(常用)…

转自:[CXF REST标准实战系列] 二.Spring4.0 整合 CXF3.0,实现测试接口 文章Points: 1.介绍RESTful架构风格 2.Spring配置CXF 3.三层初设计,实现WebService接口层 4.撰写HTTPClient 客户端,并实现简单调用 介绍RESTful架构风格 REST是REST之父Roy Thomas创造的,当时提出来了REST的6个特点:客户端-服务器的.无状态的.可缓存的.统一接口.分层系统和按需编码.其具有跨语言和跨平台的优势. REST是一…

本文来自http://www.xuliangwei.com/xubusi/252.html 免费视频讲解见 http://edu.51cto.com/course/course_id-5064.html 原文:http://blog.51cto.com/oldboy/1665163--------------18道Shell高级编程企业实战题及参考答案 企业Shell实战-MySQL分库分表备份 今天是2015年的最后一天,大家都开心的跨年,而我还在苦逼的呵呵—省略 此处内容来自老男孩教育old…

  任务是流程中最重要的组成部分.Flowable提供了多种任务类型,以满足实际需求.   常用任务类型有: 用户任务 Java Service任务 脚本任务 业务规则任务 执行监听器 任务监听器 多实例   集成扩展的任务类型有: 手动任务 Java接收任务 Shell任务 补偿处理器 Web Service任务 邮件任务 Http任务 Camel任务 Mule任务   任务的图形都是以一个圆角矩形为基础,在左上角添加具体类型的图标. 一.常用的任务类型 1.1 用户任务 1.1.1 描述  …

用linux自带的计划任务切割nginx日志,每天0点执行 #!/bin/bash #GuoYabin nginxpid=`/bin/ps aux|grep nginx |awk /master/'{print $2}'` accesslog=`/usr/sbin/lsof -p $nginxpid |awk /access.log/'{print $9}'` LOGS_PATH=`/usr/bin/dirname $accesslog` YESTERDAY=$(date -d "yesterd…

功能描述:清理/var/log/路径下的messages历史日志文件(messages-date),但不清理messages文件本身 依赖要求:服务器上安装了bc模块 # clean_logs.sh #!/bin/bash # ========================================== # 功能:清理/var/log/路径下的messages历史日志文件(messages-date),但不清理messages文件本身 # 方法:配合crontab作为定时任务每天执行 #…

一个执着于技术的公众号 该程序使用场景说明:主要用于Linux服务器监控程序日志,如出现关键字异常则触发相应的动作或告警操作,通知到邮件联系人. 一.安装邮件服务 1.解压 tar -jxf mailx-12.4.tar.bz2 -C /usr/src/ && cd /usr/src/mailx-12.4/ 2.编译 make install UCBINSTALL=/usr/bin/install 异常编译报错-1 异常报错解决方法 下载mailx补丁文件"mailx-12.4-…

本项目分析apache服务器产生的日志,分析pv.独立ip数和跳出率等指标.其实这些指标在第三方系统中都可以检测到,在生产环境中通常用来分析用户交易等核心数据,此处只是用于演示说明日志数据的分析流程. 一.需求分析 我们可以编写执行的shell脚本,将apache每天产生的日志上传到HDFS中,然后经过数据清洗,hive分析,最后将数据从HDFS导入到mysql中,然后设定计划任务每天定期自动执行分析工作. 1.指标说明  ▶ PV(Page View):页面浏览量,用户每1次对网站中的每个网页…

该文章转自:http://blog.csdn.net/wylfengyujiancheng/article/details/50019299 ------------------------------------------------------------------------------------ 在shell脚本执行过程中如果没有日志记录,特别是脚本比较长的情况下在执行完再定位问题很难发现问题原因,因此在脚本中增加日志显得十分重要.如何在日志中记录是哪个用户什么时间执行的哪个脚本,…

目标 实现记录SHELL执行的開始时间,结束时间.执行状态,错误信息等,以函数封装日志记录的方式,脚本调用函数 源代码 通用函数脚本program_log_new.sh function init_log() { sqlplus -S test/passw0rd@orcl <<EOF insert into program_log values($id,$day,'$1', sysdate,null,'S',null); commit exit EOF } function modify_st…

背景:现有日志接入日志报表大盘,为了避免作业高峰期间(双十一),系统也要观测系统整体情况,因此提出了观测近五分钟,接口成功率以及耗时等工具(默认统计最近五分钟,并进行结果汇总统计) 使用说明 前提:pgm免登陆配置好,生成ssh公钥 如果配置不成功通过修改该脚本 pgm 后面加入 -A 输入密码 命令执行后,trace.log中实时看捞取数据 结果保存在 result.log中 命令后台运行 执行成功后会 提示 commplete see trace.log or result.log 默认执行…

1.系统监控概述 采集的监控信息主要有内存占用率,CPU占用率,当前在线用户,磁盘挂载及磁盘空间使用率,平均每秒写入流量,平均每秒流出流量.磁盘IO:平均每秒从磁盘读入内存的速率,平均每秒从内存写入磁盘的速率. 2.监控原理 2.1.CPU占用率 监控原理: CPU相关信息记录在文件 /proc/stat中.详情请查看博文:https://blog.csdn.net/ustclu/article/details/1721673 stephen@stephen-K55VD:~/shell$ cat…

shell 脚本定期处理如下: cat /home/backup/logs_delete.sh #!/bin/bash /bin/find /data/logs/nginx/ -name "*.log*" -mtime +4 -type f -print0 |xargs -0 mv -t /mnt/logs/nginx/ /bin/find /data/logs/uwsgi/ -name "*.log*" -mtime +4 -type f -print0 |xar…

第十章-实战:ELK日志分析系统 ElasticSearch.Logstash.Kibana简称ELK系统,主要用于日志的收集与分析. 一个完整的大型分布式系统,会有很多与业务不相关的系统,其中日志系统是不可或缺的一个,集中式日志系统需要收集来自不同服务的日志,对它进行集中管理存储以及分析.ELK就是这样一个系统. ElasticSearch是一个开源分布式搜索引擎,在ELK系统中提供对数据的搜索.分析.存储. Logstash主要用于日志的收集,在ELK系统中作为日志数据源的传输. Kiban…

公司给出一个需求,指定时间内,统计请求driver.upload.position(司机位置上报接口)中,来源是华为push(come_from=huawei_push)的数量,要求是按天统计. 看一下url格式,url中,method参数就是所请求的接口地址 api10 /May/::: + | GET /rest?app_ver=&come_from=huawei_push&&gps_type=baidu&latitude=&longitude=&mod…

有时候我们需要调用系统命令执行一些东西,可能是为了方便,也可能是没有办法必须要调用.涉及执行系统命令的东西,则就不能做跨平台了,这和java语言的初衷是相背的. 废话不多说,java如何执行shell命令?自然是调用java语言类库提供的接口API了. 1. java执行shell的api 执行shell命令,可以说系统级的调用,编程语言自然必定会提供相应api操作了.在java中,有两个api供调用:Runtime.exec(), Process API. 简单使用如下: 1.1. Runti…

问题的提出 公司有一个用户行为分析系统,可以记录用户在使用公司产品过程中的一系列操作轨迹,便于分析产品使用情况以便优化产品 UI 界面布局.这套系统有点类似于 Google Analyse(GA),所不同的是,为了让用户把产品用起来,公司会将用户行为与优惠活动联系起来,例如购买产品后一段时间内如果使用时长达到一定标准,就能从销售那里领取小礼品,初衷是为了让用户把产品用起来.可是这个活动一经推出,我这边电话就被打爆了,因为经常有用户感觉自己在用产品了,但是销售给他反馈的时长信息却没有增长.于是实施…