shell日志分析常用命令总结 时间:2016-03-09 15:55:29来源:网络 导读:shell日志分析的常用命令,用于日志分析的shell脚本,统计日志中百度蜘蛛的抓取量.抓取最多的页面.抓取404错误页面的数量等.   shell日志分析常用命令 一,用于日志分析的shell脚本 1.在windows下的用户要使用shell命令符的话请先安装cygwin,安装方法自行google(搜技术问题请使用google,百度搜不到活该) 2.seo日志分析常用的命令符用法.less 文件名 查…

1.查看当天有多少个IP访问: awk '{print $1}' log_file|sort|uniq|wc –l 2.查看某一个页面被访问的次数: grep "/index.php" log_file | wc –l 3.查看每一个IP访问了多少个页面: awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file 4.将每个IP访问的页面数进行从小到大排序: awk '{++S[$1]} END {for (a in S) pri…

Nginx Access Log日志统计分析常用命令 IP相关统计 统计IP访问量 awk '{print $1}' access.log | sort -n | uniq | wc -l 查看某一时间段的IP访问量(4-5点) grep "07/Apr/2017:0[4-5]" access.log | awk '{print $1}' | sort | uniq -c| sort -nr | wc -l 查看访问最频繁的前100个IP awk '{print $1}' access…

前面我们说了shell分析日志常用指令,现在我们随ytkah一起看看shell日志分析进阶篇,假设日志文件为ytkah.log //统计不重复抓取数量 cat ytkah.log | awk '{print $4}'|sort|uniq|wc -l //统计所有状态码数量 awk '{print $10}' ytkah.log |sort|uniq -c //统计某个目录抓取次数 grep "/shop" ytkah.log | awk '{print $4}' |sort |wc –…

Nginx Access Log日志统计分析常用命令Nginx Access Log日志统计分析常用命令IP相关统计 统计IP访问量 awk '{print $1}' access.log | sort -n | uniq | wc -l 查看某一时间段的IP访问量(4-5点) grep "07/Apr/2017:0[4-5]" access.log | awk '{print $1}' | sort | uniq -c| sort -nr | wc -l 查看某个时间点的IP访问量(…

了解linux常用命令,有助于提升我们的生产力,提升工作效率,更快速地定位问题,当然也是为了更好地解决问题.这两天,趁着在家办公的时间,我把linux系统中常用的命令整理了一下,主要涉及到查找.查看,有几个命令平时共组经常用到,也有很多从来都没有过. 查看文件内容 cat 查看文件内容 语法: cat fileName 拓展参数: -A, --show-all 等效于 -vET -b, --number-nonblank 带行号输出,对空白行不编号 -e 等效于 -vE,行尾增加$符 -E, -…

HBase shell的基本用法 hbase提供了一个shell的终端给用户交互.使用命令hbase shell进入命令界面.通过执行 help可以看到命令的帮助信息. 以网上的一个学生成绩表的例子来演示hbase的用法. name grad course math art Tom 5 97 87 Jim 4 89 80 这里grad对于表来说是一个只有它自己的列族,course对于表来说是一个有两个列的列族,这个列族由两个列组成math和art,当然我们可以根据我们的需要在course中建立更…

说明: 1.我的日志预先设定好按日生成文件:"CustomLog "|/opt/apache/bin/rotatelogs /opt/apache/logs/www.website.com-access_log.%Y-%m-%d 86400" common" 2.我的日志格式:"61.135.194.120 - - [08/Aug/2011:08:00:28 +0800] "GET /favicon.ico HTTP/1.1" 404…

HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务. 1. 简介 HBase是一个分布式的.面向列的开源数据库,源于google的一篇论文<bigtable:一个结构化数据的分布式存储系统>.HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase…

Linux的人际交互分为图形界面方式和命令行方式. Linux本身只是一个操作系统内核,而由X Window图形用户接口为Linux提供图形用户界面功能.可以把X Window理解为一个运行在Linux操作系统上的应用程序,不同用户根据自己需要为自己配置不同的X Window.X Window可分为KDE和Gnome两大类,此外 ubuntu还提供了Unity图形界面. shell,俗称“壳”,用以和“核”区别,是指“提供使用者使用界面”的软件(命令解释器),类似于windows下的cmd,用来…

什么是脚本? 脚本简单地说就是一条条的文字命令(一些指令的堆积),这些文字命令是可以看到的(如可以用记事本打开查看.编辑). 常见的脚本: JavaScript(JS,前端),VBScript, ASP,JSP,PHP(后端),SQL(数据库操作语言),Perl,Shell,python,Ruby,JavaFX, Lua等. 为什么要学习和使用shell? Shell属于内置的脚本 程序开发的效率非常高,依赖于功能强大的命令可以迅速地完成开发任务(批处理) 语法简单,代码写起来比较轻松,简单易学…

1.shell 是什么 shell是指一种程序, 它是和linux沟通的桥梁, 这个应用程序提供了一个界面,用户通过这个界面访问操作系统内核的服务, Ken Thompson 的 sh 是第一种 Unix Shell,Windows Explorer 是一个典型的图形界面 Shell..我们通常说的shell是指shell脚本, shell脚本的编写语言可以有多种, 比如c.php等, 只要有对应的解释器就可以运行. Linux 的 Shell 种类众多,常见的有: Bourne Shell(/…

一.概述 日常运维工作中,排查线上环境问题,少不了去线上查日志.而使用什么命令,能快速准确地查到我们需要查找地日志信息,也是我们需要掌握的一项技能.下面介绍一下日常工作常用到的查看日志命令:tail,head,cat,tac,more,less. 二.命令详解 1.tail 命令 参数: 1)-f 循环读取 2)-q 不显示处理信息 3)-v 显示详细的处理信息 4)-c<数目> 显示的字节数 5)-n<行数> 显示行数 常用命令演示: 命令 含义 tail -f test.log…

1           Shell中的特殊符号 1.1           $  美元符号.用来表示变量的值.如变量NAME的值为Mike,则使用$NAME就可以得到“Mike”这个值. 1.2          #  井号.除了做为超级用户的提示符之外,还可以在脚本中做为注释的开头字母,每一行语句中,从#号开始的部分就不执行了. 1.3           “”  双引号.shell不会将一对双引号之间的文本中的大多数特殊字符进行解释,如#不再是注释的开头,它只表示一个井号“#”.但$仍然保持…

一.adb shell am 使用此命令可以从cmd控制台启动 activity, services:发送 broadcast等等 1.am start <packageName/.className> 或者是 am start packageName/packageName.className 直接启动指定activity -n packageName/packageName.className 或者packageName/.className -a action -d date -m MI…

linux查看日志文件内容命令tail.cat.tac.head.echo tail -f test.log你会看到屏幕不断有内容被打印出来. 这时候中断第一个进程Ctrl-C, ---------------------------linux 如何显示一个文件的某几行(中间几行) 从第3000行开始,显示1000行.即显示3000~3999行cat filename | tail -n +3000 | head -n 1000 显示1000行到3000行cat filename| head -…

1. 利用grep ,wc命令统计某个请求或字符串出现的次数 比如统计GET /app/kevinContent接口在某天的调用次数,则可以使用如下命令: [root@Fastdfs_storage_s1 ~]# cat /usr/local/nginx/logs/access.log | grep 'GET /app/kevinContent' | wc -l 其中cat用来读取日志内容,grep进行匹配的文本搜索,wc则进行最终的统计. 当然只用grep也能实现上述功能: [root@Fas…

转载自:http://blog.csdn.net/monkeyduck/article/details/10097829 1 sort的工作原理 sort将文件的每一行作为一个单位,相互比较,比较原则是从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出. [rocrocket@rocrocket programming]$ cat seq.txt banana apple pear orange [rocrocket@rocrocket programming]$ sort seq…

1.find命令 主要用途:主要用来做文件查找. 使用方法:查找文件的方式可以基于:文件名,文件时间属性,文件的所有者和组,文件权限属性,文件类型属性,文件大小,另外可以指定 查找目录的深度,排除指定子目录,具体使用方法: http://www.cnblogs.com/mchina/archive/2012/07/02/2573313.html 其他:可以通过-exec ,-OK选项对匹配的文件做进一步的处理.-exec选项:对匹配的文件执行该参数所给出的shell命令.相应命令的形式为'com…

1.列出所有目录使用量,并按大小排序.   ls|xargs du -h|sort -rn #不递归下级目录使用du -sh 2.查看文件排除以#开关和空白行,适合查看配置文件.   egrep -v "^#|^$"  filenamesed '/#.*$/d; /^ *$/d' 3.删除空格和空行.   sed '/^$/d' filename #删除空行sed 's/ //g' filenamesed 's/[[:space:]]//g' filename 4.删除#后的注释.  …

通过Nginx日志,可以简单分析WEB网站的运行状态.数据报表.IP.UV(unique visitor指独立访客访问数,一台电脑终端为一个访客.).PV(page view即页面访问量,每打开一次页面PV计数+1,刷新页面也是)访问量等需求,如下为常用需求分析: (1) 统计Nginx服务器独立IP数. awk '{print $1}' access.log |sort -r|uniq -c | wc -l (2) 统计Nginx服务器总PV量. awk '{print $7}' access…

概述: Shell 是一个用 C 语言编写的程序,它是用户使用 Linux 的桥梁.Shell 既是一种命令语言,又是一种程序设计语言. Shell 是指一种应用程序,这个应用程序提供了一个界面,用户通过这个界面访问操作系统内核的服务. Ken Thompson 的 sh 是第一种 Unix Shell,Windows Explorer 是一个典型的图形界面 Shell. Shell 脚本(shell script),是一种为 shell 编写的脚本程序. 业界所说的 shell 通常都是指 s…

命令翻译 linux_apihooks - 检查用户名apihooks linux_arp - 打印ARP表 linux_aslr_shift - 自动检测Linux aslr改变 linux_banner - 打印Linux Banner信息 linux_bash - 从bash进程内存中恢复bash历史记录 linux_bash_env - 恢复一个进程的动态环境变量 linux_bash_hash - 从bash进程内存中恢复bash哈希表 linux_check_afinfo - 验证网…

[vim]工作模式切换:    在普通模式下输入 i(插入).c(修改).o(另起一行) 命令时进入编辑模式:按 esc 键退回到普通模式.    在普通模式下输入冒号(:)可以进入命令模式.输入完命令按回车,命令执行完后会自动退回普通模式.提示:如果不确定当前处于哪种模式,按两次 Esc 键将回到普通模式. 退出:    q     如果文件未被修改,会直接退回到Shell:否则提示保存文件.    q!     强行退出,不保存修改内容.    wq     w 命令保存文件,q 命令退出…

CPU性能分析工具: vmstatpssartimestracepstreetop Memory(内存)性能分析工具:vmstatstracetopipcsipcrmcat /proc/meminfocat /proc/slabinfocat /proc/ /maps I/O性能分析工具:vmstatipstatrepquotaquotacheck Network性能分析工具:ifconfigetherealtetherealiptrafiwconfignfsstatmrtgntopnetsta…

这一次收集的是比较基础的 Linux 命令,其实 Linux 命令未必每个都要记住,只要在用到时能查阅到需要的命令的用法. 系统信息 *.显示机器的处理器架构(1)arch *.显示机器的处理器架构(2)uname -m *.显示正在使用的内核版本uname -r *.显示硬件系统部件 – (SMBIOS / DMI)dmidecode -q *.罗列一个磁盘的架构特性hdparm -i /dev/hda *.在磁盘上执行测试性读取操作hdparm -tT /dev/sda *.显示CPU in…

#重要说明 (1) windbg命令分为标准命令,元命令和扩展命令. 标准命令提供最基本的调试功能,不区分大小写.如:bp  g  dt  dv  k等 元命令提供标准命令没有提供的功能,也内建在调试引擎中,以.开头.如.sympath  .reload等 扩展命令用于扩展某一方面的调试功能,实现在动态加载的扩展模块中,以!开头.如!analyze等 (2) 进入调试状态时,直接回车可重复执行上一条命令:按上下方向键可以浏览和选择以前输入过的命令 (3) 神奇的Tab键,进行命令补全:ESC清除…

IP相关统计 统计IP访问量(独立ip访问数量) awk '{print $1}' access.log | sort -n | uniq | wc -l 查看某一时间段的IP访问量(4-5点) grep "07/Apr/2017:0[4-5]" access.log | awk '{print $1}' | sort | uniq -c| sort -nr | wc -l 查看访问最频繁的前100个IP awk '{print $1}' access.log | sort -n |u…

DBCC freeproccache DBCC dropcleanbuffers 1.set statistics IO {ON| OFF} /*Transact-SQL 语句生成的磁盘活动量的信息*/2.set statistics time on {ON| OFF} /*显示分析.编译和执行各语句所需的毫秒数*/3.set statistics profile on 4.set showplan_all on {ON| OFF} /*返回有关语句执行情况的详细信息,并估计语句对资源的需求*/…

常访问的日志目录:\data\log\(message系统 | secure安全 | maillog邮件) 进入日志目录 find \d1\data\log -name '*log' 在目录下查找以log结尾的文件(一定要用英文单引号!) cd \d1\data\log\maillog\a.log tail a.log 显示文件尾10行 tail -f a.log 监控文件 grep -n hello a.log 显示行号搜索文件内容 less -N +100 a.log 显示行号,并从第100…