关于Apache日志的统计

统计apache日志文件里访问量前十的ip并按从多到少排列五月 31, 2012 by FandLR Filed under Linux Leave a comment 解法1: cat access_log | awk '{print $1}' | sort | uniq -c | sort -n -r | head -10 解法2:cat access_log | awk -F "- -" '{print $1}' | sort -t . | uniq -c | sort…

分析apache日志，统计ip访问频次命令

统计访问频次最高的10个ip: cat /var/log/httpd/access_log |awk '{print $1}'|sort|uniq -c|sort -nr|head -10 统计恶意ip(结果为403的请求) cat /var/log/httpd/access_log|awk '{if($9=='403'){print $1}}'|sort|uniq|sort -nr 请求样本如下: 61.160.207.44 - - [17/Mar/2015:06:30:55 +0000] "…

分析apache日志，统计访问量

cat nondomain_access_log.20090722 |awk '{print $1}'| sort | uniq -c |sort -nr…

【处理多服务器日志合并处理问题】多服务器的日志合并统计——apache日志的cronolog轮循

转发:http://www.chedong.com/tech/rotate_merge_log.html 内容摘要:你完全不必耐心地看完下面的所有内容,因为结论无非以下2点:1 用 cronolog 干净,安全地轮循apache"日"志2 用 sort -m 合并排序多个日志或者用: clfmerge合并日志根据个人的使用经历:1 先介绍apache日志的合并方法:2 然后根据由此引出的问题说明日志轮循的必要性和解决方法,介绍如何通过cronolog对apache日志进行轮循:中…

logresolve - 解析Apache日志中的IP地址为主机名

logresolve是一个解析Apache访问日志中IP地址的后处理程序. 为了使对名称服务器的影响降到最低,logresolve拥有极为自主的内部散列表缓存, 使每个IP值仅仅在第一次从日志文件中读出时才被解析一次. 此程序从标准输入设备上获得需要解析的Apache日志文件, 其中,IP地址必须在每行的开始处,行中其余信息必须以空格分隔. 概要 logresolve [ -s filename ] [ -c ] < access_log > access_log.new 选项 -s file…

Apache日志分析

Apache日志统计举例加些来了解一下如何统计Apache的访问日志,一般可以用tail命令来实时查看日志文件变化,但是各种的应用系统中的日志会非常复杂,一堆长度超过你浏览极限的日志出现在你眼前时,你会觉得非常无奈,怎么办呢?这时可以用grep.sed.awk和sort等筛选工具帮助你解决这个问题.下面总结了几个常见分析方法. (1)查看IP($1代表IP) #cataccess_log | awk '{print $1}' (2)对IP排序 #cataccess_log | awk '{pr…

Apache日志不记录图片文件设置方法和来源日志的配置

Apache日志不记录图片文件设置方法 <FilesMatch "\.(ico|gif|jpg|swf)">SetEnv IMAG 1</FilesMatch>CustomLog logs/access_log combined env=!IMAG Apache日志,如果记录所有访问请求,文件会很大:如果使用日志分析软件,分析结果不一定准确.而且如果不安装cronolog工具来截断日志,会在一个整文件中,这样访问量一高,日志文件所占空间是可观的. 通过在http…

apache日志文件详解和实用分析命令

apache日志文件每条数据的请意义,以及一些实用日志分析命令. 一.日志分析如果apache的安装时采用默认的配置,那么在/logs目录下就会生成两个文件,分别是access_log和error_log 1).access_log access_log为访问日志,记录所有对apache服务器进行请求的访问,它的位置和内容由CustomLog指令控制,LogFormat指令可以用来简化该日志的内容和格式例如,我的其中一台服务器配置如下: CustomLog "| /usr/sbin/…

logstash快速入门（这篇文章很不错） | 两种方式往logstash传输数据实例：Apache 日志(从文件获取)、Syslog方式

原文地址:http://www.2cto.com/os/201411/352015.html 原文地址:http://logstash.net/docs/1.4.2/tutorials/getting-started-with-logstash (纯英文) 英语水平有限,如果有错误请各位指正简介 Logstash是一个接收,处理,转发日志的工具.支持系统日志,webserver日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型.怎么样听起来挺厉害的吧?在一个典型的使用场景下(ELK):…

如何分析apache日志[access_log（访问日志）和error_log（错误日志）]

如何分析apache日志[access_log(访问日志)和error_log(错误日志)] 发布时间: 2013-12-17 浏览次数:205 分类: 服务器默认Apache运行会access_log(访问日志)和error_log(错误日志)两个日志文件.看一条典型的access_log的日志记录:61.155.149.20 - - [17/Dec/2013:05:42:47 +0800] "GET /category/db/ HTTP/1.1" 200 232251)61.15…

linux分析apache日志获取最多访问的前10个IP

apache日志分析可以获得很多有用的信息,现在来试试最基本的,获取最多访问的前10个IP地址及访问次数. 既然是统计,那么awk是必不可少的,好用而高效. 命令如下: awk '{a[$1] += 1;} END {for (i in a) printf("%d %s\n", a[i], i);}' 日志文件 | sort -n | tail 首先用awk统计出来一个列表,然后用sort进行排序,最后用tail取最后的10个. 以上参数可以略作修改显示更多的数据,比如将tail加上-…

shell脚本分析apache日志状态码

一.首先将apache日志按天切割 vi /etc/httpd/conf/httpd.conf ErrorLog "|rotatelogs /var/log/httpd/%Y%m%derror_log 86400 480" CustomLog "|rotatelogs /var/log/httpd/%Y%m%daccess_log 86400 480" combined 二.重启apache服务 service httpd restart…

Apache日志解读

想要知道什么人在什么时候浏览了网站的哪些内容吗?查看Apache的访问日志就可以知道.访问日志是Apache的标准日志,本文详细解释了访问日志的内容以及相关选项的配置. 一.访问日志的格式 Apache内建了记录服务器活动的功能,这就是它的日志功能.这个<Apache日志>系列文章介绍的就是Apache的访问日志.错误日志,以及如何分析日志数据,如何定制Apache日志,如何从日志数据生成统计报表等内容. 如果Apache的安装方式是默认安装,服务器一运行就会有两个日志文件生成.这两个文件…

登录日志的访问日志的统计 MapReduce

登录日志的访问日志的统计 MapReduce <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.9.1</ver…

apache日志信息详解

一.访问日志的格式 Apache内建了记录服务器活动的功能,这就是它的日志功能.下文详细介绍Apache的访问日志.错误日志.以及如何分析日志数据,如何定制Apache日志,如何从日志数据生成统计报表等内容. 如果Apache的安装方式是默认安装,服务器一运行就会有两个日志文件生成.这两个文件是access_log和error_log.采用默认方式时,这些文件可以在/usr/local/apache/logs下找到.访问日志access_log记录了所有对web服务器的访问活动.下面是访问日志…

Apache日志轮询Cronolog安装及简单用法

安装日志轮询工具cronolog: [root@bqh- tools]# tar xf cronolog-.tar.gz [root@bqh- tools]# cd cronolog- [root@bqh- cronolog-]# ./configure make make install [root@bqh- cronolog-]# ll /usr/local/sbin/cronolog -rwxr-xr-x root root 7月 : /usr/local/sbin/cronolog 按天…

elk系列7之通过grok分析apache日志

preface 说道分析日志,我们知道的采集方式有2种: 通过grok在logstash的filter里面过滤匹配. logstash --> redis --> python(py脚本过滤匹配) --> ES 第一种方式是不怎么推荐使用的,除非是在日志量比较小的场景才推荐使用.因为grok非常影响性能的,且不够灵活,除非你很懂ruby. 第二种方式是我们一直推荐使用的架构,讲究松耦合关系. 下面我们还是说说第一种方式,然后再说第二种方式. grok模块是作用在filter里面的,它是…

Apache日志配置参数详细说明

Apache日志按时间分段记录在apache的配置文件httpd.conf中找到ErrorLog logs/error_log及CustomLog logs/access_log common Linux系统配置方法: 将其改为ErrorLog “| /usr/local/apache/bin/rotatelogs /home/logs/www/%Y_%m_%d_error_log 86400 480″ CustomLog “| /usr/local/apache/bin/rotatelogs…

Apache日志配置详解(rotatelogs LogFormat)

logs/error_logCustomLog logs/access_log common--默认为以上部分修改为如下: ErrorLog "|/usr/sbin/rotatelogs /var/log/httpd/10.70.25.143:10002.errorlog.%Y%m%d%H 7200 480"CustomLog "|/usr/sbin/rotatelogs /var/log/httpd/10.70.25.143:10002.accesslog.%Y%m%d%…

linux下用cronolog分割apache日志

linux下用cronolog分割apache日志,大神莫拍砖,菜鸟留一记录,小白请默默转载.连linux登陆和vi编辑都不会的,请默默关闭此页面.入正题说明:淡绿色底的为linux命令,其他的为备注说明. 下载cronolog wget "http://download.chinaunix.net/down.php?id=3457&ResourceID=1851&site=1"#解压缩tar -xzvf cronolog-1.6.2.tar.gz#进入目录cd cr…

Apache日志轮替规则

linux : |/usr/local/sbin/cronolog /web/apache/logs/%Y%m%daccess_log <IfModule log_config_module> # # The following directives define some format nicknames for use with # a CustomLog directive (see below). # LogFormat "%h %l %u %t \"%r\…

Linux下apache日志分析与状态查看方法

假设apache日志格式为:118.78.199.98 – - [09/Jan/2010:00:59:59 +0800] “GET /Public/Css/index.css HTTP/1.1″ 304 – “http://www.a.cn/common/index.php” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; GTB6.3)” 问题1:在apachelog中找出访问次数最多的10个IP.awk '{print $1}…

apache日志文件太大的问题

apache日志文件太大的问题处理Apache日志的两种方法 rotatelogs 是 Apache 2.2 中自带的管道日志程序 rotatelogs [ -l ] logfile [ rotationtime [ offset ]] | [ filesizeM ] 选项-l使用本地时间代替GMT时间作为时间基准.注意:在一个改变GMT偏移量(比如夏令时)的环境中使用-l会导致不可预料的结果. logfile它加上基准名就是日志文件名.如果logfile中包含"%",则它会被视为用…

如何在 Linux 上用 SQL 语句来查询 Apache 日志

Linux 有一个显著的特点,在正常情况下,你可以通过日志分析系统日志来了解你的系统中发生了什么,或正在发生什么.的确,系统日志是系统管理员在解决系统和应用问题时最需要的第一手资源.我们将在这篇文章中着重讲解 Apache HTTP web server 生成的 Apache access 日志. 这次,我们会通过另类的途径来分析 Apache access 日志,我们使用的工具是 asql.asql 是一个开源的工具,它能够允许使用者使用 SQL 语句来查询日志,从而通过更加友好的格式展现相同…

apache日志切割

一.日志切割安装cronolog CentOS 5.4中编译安装Apache默认日志是不切割的,需要用用工具Cronnolog进行日志切割 1.下载及安装 wget http://cronolog.org/download/cronolog-1.6.2.tar.gz tar zxvf cronolog-1.6.2.tar.gz cd cronolog-1.6.2 ./configure make && make install 2.用which命令查看路径验证安装 which cron…

Linux 下 apache 日志分析与状态查看[转]

假设apache日志格式为: 118.78.199.98 – - [09/Jan/2010:00:59:59 +0800] “GET /Public/Css/index.css HTTP/1.1″ 304 – “http://www.a.cn/common/index.php” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; GTB6.3)” 问题1:在apachelog中找出访问次数最多的10个IP. awk '{print $…

discuz论坛apache日志hadoop大数据分析项目：清洗数据核心功能解说及代码实现

discuz论坛apache日志hadoop大数据分析项目:清洗数据核心功能解说及代码实现http://www.aboutyun.com/thread-8637-1-1.html(出处: about云开发) 我们在进行日志分析的时候,那么日志的数据是杂乱无章的,或则说日志的数据并不是我们都想看到的.所以我们需要对里面的数据进行清洗,说的直白一点就是要过滤里面的字符串.下面便是我们需要过滤的数据: 183.131.11.98 - - [01/Aug/2014:01:01:05 +0800] "GE…