和某个供应商核对数据,对方是GMT+0时区,我方报表默认北京时间,无法修改为GMT0, 对excel中按照小时级别的数据导出到excel处理,然后转为文本文件,shell转为GMT0进行统计: 前期处理: 先将时间转为"2016-05-01 00:08:00" 格式的数据,便于时间戳的比较. 去除无效的","和"$"符号,便于shell文本处理. 先解决一天的问题,然后循环调用脚本 解决多天的问题. # for i in `seq 2016050…

shell脚本获取mysql插入数据自增长id的值 在shell脚本中我们可以通过last_insert_id()获取id值,但是,需要注意的是,该函数必须在执行插入操作的sql语句之后,立即调用,否则获取的值就为0,LAST_INSERT_ID 是与table无关的,如果向表a插入数据后,在向表b插入数据,LAST_INSERT_ID会改变.当然还有其他方法: 1. select max(id) from tablename: 2. select @@IDENTITY; 3. SHOW TAB…

今天,要统计一个系统的每个ip访问次数,于是我找到该系统访问日志,并写脚本实现.   访问日志情况: [root@qular ~]# cd /usr/local/nginx/logs/ [root@qunlar logs]# head access.log  59.151.44.186 - - [15/Dec/2014:20:19:11 +0800] "POST http://ebws.travelsky.com/etcwip/services/CWIPService HTTP/1.0"…

shell 统计当前目录下文件个数,使用管道组合命令: ls -1 | wc -l 解释: ls -1 表示一行一个列出文件名. wc -l 表示打印统计的行数. 两个命令通过管道连在一起表示打印列出的文件名的总行数. 参考链接:Counting Files in the Current Directory…

概述 今天主要介绍怎么统计redis key类型数据大小分布. 原理:使用redis命令: scan.pipline.type 和 debug object 来得到 redis key 信息. 脚本 内容如下: #!/usr/bin/python# -*- coding: utf-8 -*-import getoptimport timeimport sysimport redisimport osreload(sys)sys.setdefaultencoding('utf8') __Versi…

Mysql统计每年每个月的数据(前端页面统计图实现) 最终想实现的效果图,在这里就不多废话了,直接上效果图,由于测试数据有几个月是为0的,所以数据图看着会有点怪怪. 接下来是数据库的两个表,这里直接给你们代码了,你们根据自己的需求更改即可 -- 会员充值表 CREATE TABLE rechargeinfo( r_num INT PRIMARY KEY COMMENT '充值编号', v_card ) COMMENT '会员卡号', r_recharge DOUBLE COMMENT '充值金额…

hbase shell插入根据条件查询数据 创建并插入数据: hbase(main):179:0> create 'scores','grade','course' hbase(main):180:0> put 'scores','zhangsan01','course:art','90' hbase(main):181:0> scan 'scores'ROW                                                          COLUMN+…

最近做了一个数据模块的统计,统计企业收款.发票相关的数据,开始统计是比较简单,后面再拆分账套统计就有点小复杂,本文做一个简单的记录. 需求 企业表 企业表t_company有如下字段:标识id.企业名称name: id name 1 腾讯 2 百度 收款表 企业对应有收款表t_collection有如下字段:标识id.账套account.企业idcompany_id.收款金额amount: id account company_id amount 1 1 1 30 2 2 1 20 3 1 2…

今天有个人问了这样一个问题,图片是原题,在这个题的基础上写了一个实现方法 首先日志存到a.txt文本里,如下 Zhangsan|lisi1|0|Zhangsan|lisi2|10|Zhangsan|lisi3|6|Zhangsan|lisi4|0|Zhangsan|lisi5|0|Lisi|list1|0|Lisi|list2|5| 代码如下: #!/bin/sh awk ,|awk 'BEGIN{FS="`";curline="";name=""…

time awk '{a[$1]++}END{for(i in a){printf("%d\t%s\n",a[i],i)}}' access.log | sort -nr | head -5 $ cat aa00:0100:0100:0100:0200:0300:0500:0500:0500:05 $ cat aa |awk '{a[$1]+=1;}END{for(i in a){print a[i]" "i;}}'3 00:011 00:021 00:034 00…

公司给出一个需求,指定时间内,统计请求driver.upload.position(司机位置上报接口)中,来源是华为push(come_from=huawei_push)的数量,要求是按天统计. 看一下url格式,url中,method参数就是所请求的接口地址 api10 /May/::: + | GET /rest?app_ver=&come_from=huawei_push&&gps_type=baidu&latitude=&longitude=&mod…

试想一下,如果有10G数据,或者更多:怎么才能够快速地去重呢?你会说将数据导入到数据库(mysql等)进行去重,或者用java写个程序进行去重,或者用Hadoop进行处理.如果是大量的数据要写入数据库也不是一件容易的事情,首先你需要开发一个程序将数据写入数据库,然后再用数据库的select distinct或者group by进行去重.如果是一次性的工作,这种方式显得就比较笨拙了.那么有没有更好的办法呢?下面记录一下我是怎么从10G数据里面迅速去重的.这里采用shell脚本的方式进行处理.如果您…

使用shell脚本根据输入的用户名,数据库名,密码从DB2数据库导出数据 (1)a.sh脚本如下 #!/usr/bin/bash read -p "please input your DBNAME: " DBNAME read -p "please input your username: " username read -p "please input your password: " password db2 connect to $DBNA…

基本需求 分析完数据后,一般需要将数据以附件的形式发送处理,这个已经在<>中有介绍,如何 用Python实现附件的发送. 但不是所有人都关心附件的内容,一般邮件中需要有些概要的信息,如附件信息的统计信息等. 这就需要以表格的形式发送出来. 如何设计一个通用的产生Table的函数,对模块的复用性大有益处. 一个表格必备的有表格名,表格各列的解释,数据. 如下是我的尝试(代码说明问题) function GenerateTable() { local header="$1" l…

今天是2014-11-01 是周末,忙了一周了,最终能够闲下来了.想起近期工作用到的VBA的一个场景,结合VBA的数组,所以就想试试看.结果还好.出来了.这年头,又玩起了VB了,经过多时才接受了VB的种语法风格,闲话不说,进入正题 watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvdHF0aWhpaGM=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt…

Ubuntu14.04 给定一个文本,统计其中单词出现的次数 方法1 # solution 1 grep与awk配合使用,写成一个sh脚本 fre.sh sh fre.sh wordfretest.txt #! /bin/bash# solution 1 ] then echo "Usage:$0 args error" exit fi ] then echo "analyse the first file $1" fi #get the first file fi…

1.首先对linux操作系统的crontab命令进行熟悉和了解: .crond是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程,与windows下的计划任务类似,当安装完成操作系统后,默认会安装此服务工具,并且会自动启动crond进程,crond进程每分钟会定期检查是否有要执行的任务,如果有要执行的任务,则自动执行该任务. .Linux下的任务调度分为两类,系统任务调度和用户任务调度. a.系统任务调度:系统周期性所要执行的工作,比如写缓存数据到硬盘.日志清理等.在/etc…

test.txt --| --| --| --| --| --| --| --| --| shell命令 yesterday=`date +%Y-%m-%d -d -1days` awk -v yesterday="$yesterday" -F"|" '!a[$1]++{if($3==yesterday) print $1}' test.txt |wc 心路历程 awk:统计 -v:传参 -F:定义分隔符 !a[$1]++:去重 print:打印 备注:去重可参考h…

#nginx日志统计独立ip的个数: awk '{print $1}' /path-to-log-dir/access.log | sort | uniq | wc -l #查询访问最多的前10个ip #查看某段时间的 grep "2012:0[3-6]" nginx.log | Active Internet connections (w/o servers) Proto Recv-Q Send-Q Local Address Foreign Address State tcp TI…

有一个日志文件为: # cat data.log 需要提取出里面的数据,写shell脚本实现这个功能: #!/bin/bash OLD=$IFS IFS=$'\n' for entry in $(cat /home/users/data.log) do echo "Values in $entry is" IFS=' ' for value in $entry: do echo " $value" done done IFS=OLD 其中IFS变一个环境变量,作为l…

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://twentyfour.blog.51cto.com/945260/521455 知识体系: #回顾重定向 #标准输入和输出 #报告错误 #丢弃数据 #创建日志文件 这里主要讲述如何将脚本重定向到linux系统的各个位置. 1.了解输入和输出 我们知道显示脚本输出的方法有两种: *在监视器屏幕上显示 *将输出重定向到文件 下面主要讲述如何使用标准的linux输入和输出体系满足将脚本…

Linux课上的作业周三交,若有考虑不周到的地方,还请多多不吝赐教. shell处理文本相关的经常使用命令见此博客 # #假设输入两个參数 则第一个为统计单词的个数.第二个为要统计的文章 #假设输入一个參数 则默认统计单词的个数为10 # 详细思路: 将各种符号用换行替换(tr命令) 大写改小写(tr命令) 排序.统计单词个数并除去反复 (sort和uniq) 按出现次数的高低排序(sort) 打印N个须要统计的单词 #!/bin/bash if [ $# -ne 2 -a $# -ne 1 ]…

话说有个aaa.txt文件,文件内容如下: aaaabbbbccccddddeeeeffffmmmmooooaaaaccccaaaabbbbddddaaaammmmbbbbaaaaoooo 然后面试题出现了,你会用shell吗?会,那有这么个问题,请统计出一个文件里某个单词或者行出现的次数,请去除前10条. 其实文件小还可以,文件大的话,可能这个方法就不那么高效了.不过会满足大多数 一条语句搞定 cat aaa.txt | awk '{print $1}' | sort | uniq -c |…

Xcode统计代码,用shell命令即可,非常简单.打开终端,进入你的工程目录,执行下列代码 find . -name "*.m" -or -name "*.h" -or -name "*.html" -or -name "*.c" |xargs wc -l 如果要统计ios开发代码,包括头文件的,命令如下 find . -name "*.m" -or -name "*.h" -or -…

使用MTA HTML5统计API来分析数据 在开发个人博客的时候,用到了腾讯移动分析(MTA),相比其他数据统计平台来说我喜欢她的简洁高效,易上手,同时文档也比较全面,提供了数据接口供用户调用. 在看了MTA演示Demo和官方文档后,我就决定使用 .NET Core将其HTML5统计API进行封装,以供博客直接调用,省去各种鉴权生成sign的操作. 首先需要在MTA官网进行HTML5应用创建,当然她还支持小程序和移动App. 然后就可以看到如上图的应用管理界面,如果你不打算使用其API接口,直接…

对于所有的需求,当你不知道怎么处理的时候,你就先用最简单的方法,或者说的明白一点,用最原始的方法,先实现业务需求再说. 一.对提现队列数据表“ims_checkout_task”进行汇总统计,按月汇总统计每个月的提现总额,提现总次数. 1.SQL操作如下: SELECT id , ' , ' , ' , ' , ' , ' , ' , ' , ' , ' , ' , ' FROM ims_checkout_task 2.数据库返回如下: 3.关键词:case when //流程控制语句case语…

话不多说,直接上码↓ IF OBJECT_ID('tempdb..#Table') IS NOT NULL BEGIN DROP TABLE #Table; END; DECLARE @tbRangeDate TABLE ( name NVARCHAR() , value NVARCHAR() ); DECLARE @d INT = ; DECLARE @i INT = ; DECLARE @TotalCount INT= ; DECLARE @SuccessMoney NVARCHAR() =…

PV.UV是网站分析中最基础.最常见的指标.PV即PageView,网站浏览量,指页面的浏览次数,用以衡量网站用户访问的网页数量.用户没打开一个页面便记录1次PV,多次打开同一页面则浏览量累计:UV即UniqueVistor,独立访客数,指1天内访问某站点的人数,以cookie为依据.1天内同一访客的多次访问只计为1个访客:通过linux的shell可以快速的统计pv和uv. nginx log格式如下: log_format pushlogs '$remote_addr - $remote_u…

语法:wc [选项] 文件- 说明:该命令统计给定文件中的字节数.字数.行数.如果没有给出文件名,则从标准输入读取.wc同时也给出所有指定文件的总统计数.字是由空格字符区分开的最大字符串. 该命令各选项含义如下: - c 统计字节数. - l 统计行数. - w 统计字数. 这些选项可以组合使用. 输出列的顺序和数目不受选项的顺序和数目的影响. 总是按下述顺序显示并且每项最多一列. 行数.字数.字节数.文件名 如果命令行中没有文件名,则输出中不出现文件名. 例如: $ wc -l f1 f2  …

功能,统计某一目录下所有文件代码行数: 例如统计某一目录下所有.c结尾的文件代码行数:find . -name "*.c"|xargs cat|grep -v ^$|wc -l ^C 使用方法:打开终端,cd至要统计代码的文件目录下,运行此命令即可.…