简单使用packetbeat
版权声明:原创作品,谢绝转载!否则将追究法律责任。

在前面两篇文章中记录了使用logstash来收集mysql的慢查询日志,然后通过kibana以web的方式展示出来,但在生产环境中,需求会更复杂一些,而且通过logstash写正则,实在是个费时费劲的事。例如在生产环境中会有要求分析某个时间段mysql或者mongodb的慢查询日志情况;还有I/O吞吐量;这个时间段内经常执行的查询语句,http访问情况等信息;然后将分析出来的结果以图表的形式展现出来。听起来是不是有点头晕,有点高大上的感觉,其实通过packetbeat,一切将变得简单高效。本文介绍使用packetbeat,elasticsearch,kibana实现这个需求。

操作系统版本:centos6.6 64bit

Elasticsearch版本:elasticsearch-2.1.0.tar.gz

Kibana版本:Kibana 4.2.1

Packetbeat版本:packetbeat-1.0.0-1.x86_64

Topbeat版本:topbeat-1.0.0-x86_64 (topbeat其实是用来收集操作系统信息的)

在前两篇文章中未介绍如果安装elasticsearch和kibana,这个其实很简单,基本下载下来解压一下,稍微修改一下配置文件即可运行起来,所有就忽略了,如果有问题,可以自行百度或者bing一下。

目前packetbeat支持的网络协议有http,mysql,postgresql,redis,mongodb和thrift。Packetet支持pcap,pf_ring等抓包方式,采用哪种方式进行抓包,则需要安装相应的依赖包。

一:下载并安装packetbeat

1
2
3
# yum -y install libpcap
# rpm -ivh https://download.elastic.co/beats/packetbeat/packetbeat-1.0.0-x86_64.rpm
# rpm -ivh https://download.elastic.co/beats/topbeat/topbeat-1.0.0-x86_64.rpm

二:向elasticsearch导入packetbeat模板

1
2
# curl -XPUT 
'http://192.168.1.226:9200/_template/packetbeat' -d@/etc/packetbeat/packetbeat.template.json

三:修改packetbeat配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
# cat /etc/packetbeat/packetbeat.yml  --server15
shipper:
 name: server15
 tags: ["server15"]
interfaces:
  device: any
  type: pcap
  buffer_size_mb: 100
protocols:
  mysql:
    ports: [3306]
output:
  elasticsearch:
    host: 192.168.1.207
    port: 9200
enabled: true
  
# cat /etc/packetbeat/packetbeat.yml  --server226
shipper:
 name: server226
 tags: ["server226"]
interfaces:
  device: eth0
  type: pcap
  buffer_size_mb: 100
  
protocols:  
  mongodb:
    ports: [37017, 38017]
    send_request: true     # index the request payload
    send_response: true    # index the response payload
    max_docs: 10           # maximum number of documents to index per request/response
    max_doc_length: 1024   # maximum document size to index
protocols:
 mysql:
    ports: [3306]
protocols:
 redis:
    ports: [6379]
  
output:
  elasticsearch:
    enabled: true
    host: 192.168.1.207
    port: 9200

四:启动packetbeat服务

1
# /etc/init.d/packetbeat start

五:导入packetbeat-dashboards

1
2
3
# git clone https://github.com/elastic/packetbeat-dashboards
# cd packetbeat-dashboards
# sh load.sh -url http://192.168.1.207:9200

六:web展示

1: 配置索引,这个在执行完load.sh脚本之后,索引会自动创建

2: 查看客户端的数据推送情况

3: 查看导入的面板,可视化视图,点击setting-objects

4: 图形展示,点击dashboard-load save dashboards

Mysql情况:

在有多台mysql服务的情况下,可以根据tags来区分,在搜索框中输入相应的tag,则只显示对应的数据

Mongodb情况

汇总情况:

更多数据演示请访问packetbeat demo网址:http://demo.elastic.co/packetbeat/

七:故障排错

1: 在测试过程中曾经发现mysql里面的most frequent Mysql queries和slowest mysql queries数据显示不全,像是被截断的样子,排查后发现其实是模板的问题,删除模板后重新导入即可.

1
2
3
4
5
 # curl -XDELETE 'http://192.168.1.207:9200/*'
 # curl -XPUT
 'http://192.168.1.207:9200/_template/packetbeat' -d@/etc/packetbeat/packetbeat.template.json
# cd packetbeat-dashboards
# sh load.sh -url http://192.168.1.207:9200

2: elasticsearch数据维护

搜索数据:(如果你有多个索引,可以把packetbeat-*换成对应的索引名):

1
# curl -XGET 'http://192.168.1.226:9200/packetbeat-*/_search?pretty'

删除数据(如果你有多个索引,可以把packetbeat-*换成对应的索引名):

1
# curl -XDELETE 'http://192.168.1.207:9200/packetbeat-*'
   
     

from:http://ylw6006.blog.51cto.com/blog/470441/1722905

简单使用packetbeat的更多相关文章

  1. Packetbeat协议扩展开发教程(3)

    原文链接:http://elasticsearch.cn/article/54 书接上回:http://elasticsearch.cn/article/53 前面介绍了Packetbeat的项目结构 ...

  2. 【造轮子】打造一个简单的万能Excel读写工具

    大家工作或者平时是不是经常遇到要读写一些简单格式的Excel? shit!~很蛋疼,因为之前吹牛,就搞了个这东西,还算是挺实用,和大家分享下. 厌烦了每次搞简单类型的Excel读写?不怕~来,喜欢流式 ...

  3. Fabio 安装和简单使用

    Fabio(Go 语言):https://github.com/eBay/fabio Fabio 是一个快速.现代.zero-conf 负载均衡 HTTP(S) 路由器,用于部署 Consul 管理的 ...

  4. node.js学习(三)简单的node程序&&模块简单使用&&commonJS规范&&深入理解模块原理

    一.一个简单的node程序 1.新建一个txt文件 2.修改后缀 修改之后会弹出这个,点击"是" 3.运行test.js 源文件 使用node.js运行之后的. 如果该路径下没有该 ...

  5. 哪种缓存效果高?开源一个简单的缓存组件j2cache

    背景 现在的web系统已经越来越多的应用缓存技术,而且缓存技术确实是能实足的增强系统性能的.我在项目中也开始接触一些缓存的需求. 开始简单的就用jvm(java托管内存)来做缓存,这样对于单个应用服务 ...

  6. 在Openfire上弄一个简单的推送系统

    推送系统 说是推送系统有点大,其实就是一个消息广播功能吧.作用其实也就是由服务端接收到消息然后推送到订阅的客户端. 思路 对于推送最关键的是服务端向客户端发送数据,客户端向服务端订阅自己想要的消息.这 ...

  7. 我的MYSQL学习心得(一) 简单语法

    我的MYSQL学习心得(一) 简单语法 我的MYSQL学习心得(二) 数据类型宽度 我的MYSQL学习心得(三) 查看字段长度 我的MYSQL学习心得(四) 数据类型 我的MYSQL学习心得(五) 运 ...

  8. 使用 Nodejs 搭建简单的Web服务器

    使用Nodejs搭建Web服务器是学习Node.js比较全面的入门教程,因为要完成一个简单的Web服务器,你需要学习Nodejs中几个比较重要的模块,比如:http协议模块.文件系统.url解析模块. ...

  9. ASP.NET Aries 入门开发教程2:配置出一个简单的列表页面

    前言: 朋友们都期待我稳定地工作,但创业公司若要躺下,也非意念可控. 若人生注定了风雨飘摇,那就雨中前行了. 最机开始看聊新的工作机会,欢迎推荐,创业公司也可! 同时,趁着自由时间,抓紧把这系列教程给 ...

随机推荐

  1. [AngularJS] ui-router: Abstract States

    ui-router has the powerful ability to define abstract states, or states that can't be navigated to, ...

  2. Android线程和线程池

    Translated From Google Android. class PhotoDecodeRunnable implements Runnable {...    /*     * Defin ...

  3. MySQL 列子查询及 IN、ANY、SOME 和 ALL 操作符的使用(转)

    MySQL 列子查询 列子查询是指子查询返回的结果集是 N 行一列,该结果通常来自对表的某个字段查询返回. 一个列子查询的例子如下: SELECT * FROM article WHERE uid I ...

  4. java 对象序列化

    java 对象序列化 package org.rui.io.serializable; import java.io.ByteArrayInputStream; import java.io.Byte ...

  5. Keeplived 详解

    http://www.cnblogs.com/pricks/p/3822232.html

  6. 高级I/O之存储映射I/O

    存储映射I/O(Memory-mapped I/O)使一个磁盘文件与存储空间中的一个缓冲区相映射.于是当从缓冲区中取数据,就相当于读文件中的相应字节.与此类似,将数据存入缓冲区,则相应字节就自动地写入 ...

  7. C#_在.net中序列化读写xml方法的总结

    阅读目录 开始 最简单的使用XML的方法 类型定义与XML结构的映射 使用 XmlElement 使用 XmlAttribute 使用 InnerText 重命名节点名称 列表和数组的序列化 列表和数 ...

  8. SSH Spring3\Java1.8 “Unable to instantiate Action, xxAction, defined for 'xxAction_login' in namespace '/'null”

    1.Stacktraces Unable to instantiate Action,xxAction, defined for 'xxAction_login' in namespace '/'nu ...

  9. A very hard Aoshu problem

    A very hard Aoshu proble Problem Description Aoshu is very popular among primary school students. It ...

  10. css笔记15:盒子模型

    1.流 流:html元素在网页中显示的顺序 标准流:在html文件中,写在前面的元素在前面显示,写在后面的html元素在后面显示. 非标准流:在html之中,当某个元素脱离了标准流,那么它处于非标准流 ...