elk收集tomcat的日志

logstash收集tomcat的日志

不要修改下tomcat中server.xml的日志格式，否则tomcat无法启动，试过多次，不行，就用自带的日志让logstash去收集

首先给tomcat日志授权，否则logstash无权读取日志文件

[root@bogon bin]# ls -l /usr/local/tomcat/logs/

total

-rw-r-----  root root  Feb  : catalina.--.log

-rw-r-----  root root  Feb  : catalina.out

-rw-r-----  root root       Feb  : host-manager.--.log

-rw-r-----  root root    Feb  : localhost.--.log

-rw-r-----  root root    Feb  : localhost_access_log.--.txt

-rw-r-----  root root       Feb  : manager.--.log

[root@bogon bin]# chmod  /usr/local/tomcat/logs/*

[root@bogon bin]# ls -l /usr/local/tomcat/logs/

total 208

-rwxrwxrwx 1 root root 101390 Feb 12 02:42 catalina.2019-02-12.log

-rwxrwxrwx 1 root root 101500 Feb 12 02:42 catalina.out

-rwxrwxrwx 1 root root      0 Feb 12 01:40 host-manager.2019-02-12.log

-rwxrwxrwx 1 root root   2454 Feb 12 02:42 localhost.2019-02-12.log

-rwxrwxrwx 1 root root   2421 Feb 12 03:07 localhost_access_log.2019-02-12.txt

-rwxrwxrwx 1 root root      0 Feb 12 01:40 manager.2019-02-12.log

现在要收集localhost_access_log.2019-02-12.txt日志内容，步骤如下：

配置logstash的语法规则，来收集tomcat日志：

cat> /home/logstash-6.3.0/config/tomcat_test.conf<<EOF

input {

     file {

        path => ["/usr/local/tomcat/logs/localhost_access_log.2019-02-12.txt"]

        type => "tomcat_log"

        start_position => "beginning"

codec => json

     }

}

filter {

date {

match => [ "timestamp" , "YYYY-MM-dd HH:mm:ss" ]

}

}

output {

elasticsearch {

        hosts => ["192.168.0.91:9200"]

        index => "tomcat-pc-%{+YYYY.MM.dd}"

    }

    stdout {

codec => rubydebug

    }

}

EOF

然后测试下有没有语法错误

/home/logstash-6.3.0/bin/logstash -t -f /home/logstash-6.3.0/config/tomcat_test.conf --config.test_and_exit

开始启动

nohup /home/logstash-6.3.0/bin/logstash -f /home/logstash-6.3.0/config/tomcat_test.conf &

启动非常慢，需要几分钟

查看logstash进程

[root@bogon tomcat]# ps -ef |grep logstash

root      22853   5194 99 03:03 pts/1    00:02:02 /bin/java -Xms1g -Xmx1g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djruby.compile.invokedynamic=true -Djruby.jit.threshold=0 -XX:+HeapDumpOnOutOfMemoryError -Djava.security.egd=file:/dev/urandom -cp /home/logstash-6.3.0/logstash-core/lib/jars/commons-compiler-3.0.8.jar:/home/logstash-6.3.0/logstash-core/lib/jars/google-java-format-1.1.jar:/home/logstash-6.3.0/logstash-core/lib/jars/guava-19.0.jar:/home/logstash-6.3.0/logstash-core/lib/jars/jackson-annotations-2.9.5.jar:/home/logstash-6.3.0/logstash-core/lib/jars/jackson-core-2.9.5.jar:/home/logstash-6.3.0/logstash-core/lib/jars/jackson-databind-2.9.5.jar:/home/logstash-6.3.0/logstash-core/lib/jars/jackson-dataformat-cbor-2.9.5.jar:/home/logstash-6.3.0/logstash-core/lib/jars/janino-3.0.8.jar:/home/logstash-6.3.0/logstash-core/lib/jars/jruby-complete-9.1.13.0.jar:/home/logstash-6.3.0/logstash-core/lib/jars/log4j-api-2.9.1.jar:/home/logstash-6.3.0/logstash-core/lib/jars/log4j-core-2.9.1.jar:/home/logstash-6.3.0/logstash-core/lib/jars/log4j-slf4j-impl-2.9.1.jar:/home/logstash-6.3.0/logstash-core/lib/jars/logstash-core.jar:/home/logstash-6.3.0/logstash-core/lib/jars/org.eclipse.core.commands-3.6.0.jar:/home/logstash-6.3.0/logstash-core/lib/jars/org.eclipse.core.contenttype-3.4.100.jar:/home/logstash-6.3.0/logstash-core/lib/jars/org.eclipse.core.expressions-3.4.300.jar:/home/logstash-6.3.0/logstash-core/lib/jars/org.eclipse.core.filesystem-1.3.100.jar:/home/logstash-6.3.0/logstash-core/lib/jars/org.eclipse.core.jobs-3.5.100.jar:/home/logstash-6.3.0/logstash-core/lib/jars/org.eclipse.core.resources-3.7.100.jar:/home/logstash-6.3.0/logstash-core/lib/jars/org.eclipse.core.runtime-3.7.0.jar:/home/logstash-6.3.0/logstash-core/lib/jars/org.eclipse.equinox.app-1.3.100.jar:/home/logstash-6.3.0/logstash-core/lib/jars/org.eclipse.equinox.common-3.6.0.jar:/home/logstash-6.3.0/logstash-core/lib/jars/org.eclipse.equinox.preferences-3.4.1.jar:/home/logstash-6.3.0/logstash-core/lib/jars/org.eclipse.equinox.registry-3.5.101.jar:/home/logstash-6.3.0/logstash-core/lib/jars/org.eclipse.jdt.core-3.10.0.jar:/home/logstash-6.3.0/logstash-core/lib/jars/org.eclipse.osgi-3.7.1.jar:/home/logstash-6.3.0/logstash-core/lib/jars/org.eclipse.text-3.5.101.jar:/home/logstash-6.3.0/logstash-core/lib/jars/slf4j-api-1.7.25.jar org.logstash.Logstash -t -f /home/logstash-6.3.0/config/tomcat_test.conf --config.test_and_exit

root      22916  18873  0 03:04 pts/3    00:00:00 grep logstash

查看elk端口

[root@bogon tomcat]# netstat -tnlp

Active Internet connections (only servers)

Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name

tcp        0      0 192.168.0.91:5601       0.0.0.0:*               LISTEN      15053/node

tcp        0      0 192.168.0.91:9100       0.0.0.0:*               LISTEN      14232/grunt

tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      943/sshd

tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1173/master

tcp6       0      0 127.0.0.1:9600          :::*                    LISTEN      23343/java

tcp6       0      0 127.0.0.1:8005          :::*                    LISTEN      21582/java

tcp6       0      0 :::8009                 :::*                    LISTEN      21582/java

tcp6       0      0 :::8080                 :::*                    LISTEN      21582/java

tcp6       0      0 192.168.0.91:9200       :::*                    LISTEN      14105/java

tcp6       0      0 192.168.0.91:9300       :::*                    LISTEN      14105/java

tcp6       0      0 :::22                   :::*                    LISTEN      943/sshd

tcp6       0      0 ::1:25                  :::*                    LISTEN      1173/master  

可以看到logstash启动后随机生成了一个9600端口

elasticsearch的head插件查看

先查看概览：



再查看数据浏览：



配置kibana查看日志

首先查看索引：

cat /home/logstash-6.3.0/config/tomcat_test.conf
input {
file {
path => ["/usr/local/tomcat/logs/localhost_access_log.2019-02-12.txt"]
type => "tomcat_log"
start_position => "beginning"
codec => json
}
}
filter {
date {
match => [ "timestamp" , "YYYY-MM-dd HH:mm:ss" ]
}
}
output {
elasticsearch {
hosts => ["192.168.0.91:9200"]
index => "tomcat-pc-%{+YYYY.MM.dd}"
}
stdout {
codec => rubydebug
}
}

里面的index => "tomcat-pc-%{+YYYY.MM.dd}" 就是索引，这个索引一会配置kibana时候需要用到。

配置Kibana获得日志
















参照文档：

https://www.cnblogs.com/cjsblog/p/9476813.html

https://blog.csdn.net/ZHANG_H_A/article/details/53129565

http://blog.51cto.com/jinlong/2055379

elk收集tomcat的日志的更多相关文章

ELK收集tomcat访问日志并存取mysql数据库案例
这个案例中,tomcat产生的日志由filebeat收集,然后存取到redis中,再由logstash进行过滤清洗等操作,最后由elasticsearch存储索引并由kibana进行展示. 1.配置t ...
ELK收集tomcat状态日志
1.先查看之前的状态日志输出格式:在logs/catalina.out这个文件中最上面的日志格式我们可能不太习惯使用,所以能输出下面的格式是最好的,当然需要我们自定义日志格式,接下来看看如何修改 2 ...
elk收集tomcat日志
1.elk收集tomcat普通日志: 只在logstash节点增加如下文件,重启logstash即可: cat >>/home/logstash-6.3.0/config/tomcat_t ...
ELK 收集 Tomcat日志以及修改Tomcat日志格式
ELK 收集 Tomcat日志以及修改Tomcat日志格式 Tomcat日志想要收集tomcat 日志首先我们要对tomcat的日志有足够的了解 tomca日志分类简单的说tomcat logs ...
ELK之收集tomcat访问日志
把tomcat访问日志转换成json格式然后收集修改配置文件conf/server.xml把日志输出改成json格式添加logstash配置文件(日志按天切割可以使用*进行匹配所有)
带你了解zabbix整合ELK收集系统异常日志触发告警~
今天来了解一下关于ELK的“L”-Logstash,没错,就是这个神奇小组件,我们都知道,它是ELK不可缺少的组件,完成了输入(input),过滤(fileter),output(输出)工作量,也是我 ...
ELK收集Nginx自定义日志格式输出
1.ELK收集日志的有两种常用的方式: 1.1:不修改源日志格式,简单的说就是在logstash中转通过 grok方式进行过滤处理,将原始无规则的日志转换为规则日志(Logstash自定义日志格式) ...
搭建ELK收集PHP的日志
架构: filebeat --> redis -->logstash --> es --> kibana 每个客户端需要安装filebeat收集PHP日志 filebeat把收 ...
ELK收集windows服务器日志笔记
一.软件版本 1.jdk-8u211-linux-x64.rpm 2.elasticsearch-6.8.1.rpm 3.logstash-6.8.1.rpm 4.kibana-6.8.1-x86_6 ...

随机推荐

一步步实现ArcMenu效果
先来看一下最终要实验的效果: 是不是跟国外的一款Path的菜单效果类似,这里的动画采用补间动画去实现,正而操练一下补间动画. 布局和子视图的测量处理: 新建一自定义View继承ViewGroup: 然 ...
javascript代码模块化解决方案
我们用模块化的思想进行网页的编写是为了更好的管理我们的项目,模块与模块之间是独立存在的,每个模块可以独立的完成一个子功能. 一.服务器和桌面环境中的Javascript代码模块化:CommonJS M ...
linux基础_使用指令3
时间日期类 1.date指令功能:显示当前日期语法: date:显示当前时间 date +%Y:显示当前年份 date +%m:显示当前月份 date +%d:显示当前是哪一天 date &quo ...
python_列表方法
1.在列表后面追加元素 user = [] while True: name = input("输入名字:") # 在列表后面追加元素 user.append(name) prin ...
零基础免费搭建个人博客-hexo+github
使用hexo生成静态博客并架设在免费的github page平台准备系统: Window 7 64位使用软件: Git v1.9.5[下载地址] 百度云 360云盘访问密码 d269 Git官 ...
Filter和interceptor比较
作为一个备忘,有时间补充 https://www.cnblogs.com/learnhow/p/5694876.html 先说一个题外话,Filter是过滤器,interceptor是拦截器.前者基于 ...
struts2之登陆拦截
针对登录拦截功能,我们需要设置拦截哪些方法和不拦截哪些方法 action action类中,处理登录时,将用户.密码绑定到session ActionContext ac = ActionContex ...
BZOJ 2927: [Poi1999]多边形之战 (博弈)
题意有一个凸多边形,顶点编号逆时针从0到n-1.现在这个n边形被剖分成n-2个三角形,给出这n-2个三角形的顶点,保证这是用n-3条不交叉的对角线划分出来的.现在第一个三角形是黑色,其他都是白色.两 ...
错误调试以及debug的使用
/*定义 .search 搜索*/ $.fn.UiSearch=function(){ var ui=$(this); //任何地方都可以使用断点调试:debugger; //调试时,可以在控制台输入 ...
web自动化之前端知识
下面这种写法只作用于这1个标签: 下面这种也是比较老的写法: 下面是常用的方式:把一个css样式放入到一个文件中,然后引用: 第三方引用的css一般是压缩过的,这样静态资源加载速度会比较快. 如 ...

elk收集tomcat的日志

elk收集tomcat的日志的更多相关文章

随机推荐

热门专题