最近搞了一个logstash kafka elasticsearch kibana 整合部署的日志收集系统。部署参考lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02

上线过程中有一些环节,觉得还是值的大家注意的比如:

1,应用运维和研发人员要讨论一下日志格式的定义,

2,在logstash取日志和消费端logstash消费日志麻、过滤日志的时候怎么要高效,避免服务本身告成系统压力过大,如果每天要处理过亿日志量,性能不注意,哈哈,可以使劲想像,会有什么后果,

3,kafka和es集群的配置,监控等,及重启服务时应注意的事情,

4,目前 kle日志收集在实时展示比较有优势,那历史数据,也就是说在es中的索引需要清理旧的数据,索引需要优化提高kibana检索速度等。

在维护过程中也遇 到了一些问题,比如批量部署生产端logstash,配置文件,更新配置文件脚本,巡检服务是否正常等,综上,所以利用fabric弄一个简单的管理脚本,还是很好玩的。 源代码已上传这里,下面主要是对一些主要功能及源码做一说明,以便过几个月看到时候,还提醒一下自己。哈哈

项目目录如下;

├── bin
│   ├── __init__.py
│   ├── logstash_dev.py
│   ├── test.txt
│   └── update_config.sh
├── branches
├── conf
│   ├── config.conf
│   ├── __init__.py
│   ├── __init__.pyc
│   ├── setting.py
│   └── setting.pyc
├── config
├── description
├── file
│   ├── config
│   │   ├── appapi
│   │   │   ├── logstash_shipper_production.conf
│   │   │   └── logstash_shipper_production.conf.bak
│   │   ├── consume
│   │   │   ├── consume_fiter.txt
│   │   │   ├── consume_input.sh
│   │   │   ├── consume_input.txt
│   │   │   ├── consume_output.txt
│   │   │   ├── get_typelist.sh
│   │   │   ├── get_typelist.txt
│   │   │   ├── logstash_indexer_consume.conf
│   │   │   └── logstash_indexer_consume.conf.template
│   │   ├── g1web
│   │   │   ├── logstash_shipper_production.conf
│   │   │   └── logstash_shipper_production.conf.template
│   │   ├── houtai
│   │   │   └── logstash_shipper_production.conf
│   │   └── wapapi
│   │   └── logstash_shipper_production.conf
│   └── logstash
│   ├── install_logstash.sh
│   └── logstashd

说明: bin目录放执行脚本 conf 目录放业务服务器信息(config.conf)、调用配置文件(setting.py) file 目录放需要推送到终端的配置文件或安装包

logstash_dev 应用逻辑如下:

1.logstash_dev说明

./update_config.sh test.txt
向config.conf 生成和更新env.roles需要业务组和主机信息
./
fab -f logstash_dev.py --shortlist #可以列出目前定义的执行任务有那些
如下: root@wqk-K43SD:/var/www/fabric_project/logstash_dev/bin# fab -f logstash_dev.py --shortlist
/var/www/fabric_project/logstash_dev
G1WEB
JDK_DEP
check_load
check_localhost
jdk_check
logstash_check
logstash_production
logstash_production_config_update
logstash_service
logstashd_update 执行任务 fab -f logstash_dev.py G1WEB

只要会点python 了解一点fabric原理 logstash_dev.py里的东东比较好定义的,因主要是调用的shell

2. setting.py这里面的东西,是我最容易忘记的

#!/usr/bin/env python
# coding:utf8
#author: shantuwqk@163.com from fabric.colors import *
from fabric.api import *
import re
import sys,os
import ConfigParser #sys.path.append('/var/www/python_program/fabric_project/ops_manager') nowdir = os.getcwd()
BASEDIR = '/'.join(nowdir.split('/')[:-1])
CONFIGFILE = "%s/conf/config.conf"%BASEDIR
PWDFILE = "%s/conf/.ippwd.txt"%BASEDIR
print BASEDIR env.user = 'root'
env.roledefs = {}
env.passwords = {} #下面主要是实现加载配置文件已解析成字典给env.roledefs
def Handle_Conf_Role():
CONF = ConfigParser.ConfigParser()
CONF.read(CONFIGFILE)
g = CONF.items('HostGroup')
for gh in g:
env.roledefs[gh[0]] = []
for h in gh[1].split(','):
env.roledefs[gh[0]].append(h)
return env.roledefs #下面主要实现解决主机密码文件,解析成env.passwords字典
def Handle_Host_Pass():
with open(PWDFILE,'r') as f:
for line in f.readlines():
for g,hlist in Handle_Conf_Role().items():
for h in hlist:
b = re.match(r'^%s .*' %h,line,re.M|re.I)
if b:
c = b.group()
k = c.split()[0]
v = c.split()[1]
nc='%s@%s:22'%(env.user,k)
env.passwords[nc] = v return env.passwords if __name__ == '__main__':
print Handle_Conf_Role()
print Handle_Host_Pass()

3.后期想法,实现对logstash kafka zookeeper es等想关服务及应用配置文件的管理

用fabric部署维护kle日志收集系统的更多相关文章

  1. [转载] 一共81个,开源大数据处理工具汇总(下),包括日志收集系统/集群管理/RPC等

    原文: http://www.36dsj.com/archives/25042 接上一部分:一共81个,开源大数据处理工具汇总(上),第二部分主要收集整理的内容主要有日志收集系统.消息系统.分布式服务 ...

  2. 一共81个,开源大数据处理工具汇总(下),包括日志收集系统/集群管理/RPC等

    作者:大数据女神-诺蓝(微信公号:dashujunvshen).本文是36大数据专稿,转载必须标明来源36大数据. 接上一部分:一共81个,开源大数据处理工具汇总(上),第二部分主要收集整理的内容主要 ...

  3. GO学习-(35) Go实现日志收集系统4

    Go实现日志收集系统4   到这一步,我的收集系统就已经完成很大一部分工作,我们重新看一下我们之前画的图: 我们已经完成前面的部分,剩下是要完成后半部分,将kafka中的数据扔到ElasticSear ...

  4. ELK+kafka构建日志收集系统

    ELK+kafka构建日志收集系统   原文  http://lx.wxqrcode.com/index.php/post/101.html   背景: 最近线上上了ELK,但是只用了一台Redis在 ...

  5. 基于Flume的美团日志收集系统(二)改进和优化

    在<基于Flume的美团日志收集系统(一)架构和设计>中,我们详述了基于Flume的美团日志收集系统的架构设计,以及为什么做这样的设计.在本节中,我们将会讲述在实际部署和使用过程中遇到的问 ...

  6. 基于Flume的美团日志收集系统(一)架构和设计

    美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流.美团的日志收集系统基于Flume设计和搭建而成. <基于Flume的美团日志收 ...

  7. 基于Flume的美团日志收集系统(一)架构和设计【转】

    美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流.美团的日志收集系统基于Flume设计和搭建而成. <基于Flume的美团日志收 ...

  8. 分布式日志收集系统- Cloudera Flume 介绍

        Flume是Cloudera提供的日志收集系统,具有分布式.高可靠.高可用性等特点,对海量日志采集.聚合和传输, Flume支持在日志系统中定制各类数据发送方, 同时,Flume提供对数据进行 ...

  9. 快速搭建应用服务日志收集系统(Filebeat + ElasticSearch + kibana)

    快速搭建应用服务日志收集系统(Filebeat + ElasticSearch + kibana) 概要说明 需求场景,系统环境是CentOS,多个应用部署在多台服务器上,平时查看应用日志及排查问题十 ...

随机推荐

  1. FireFox Prevent this page from creating addtional dialogs 火狐浏览器 设置 阻止此页面创建更多对话框

    FireFox英文版本老弹出“Prevent this page from creating addtional dialogs”的确认框 FireFox english version alert ...

  2. 靶形数独 (codevs 1174)题解

    [问题描述] 小城和小华都是热爱数学的好学生,最近,他们不约而同地迷上了数独游戏,好胜的他们想用数独来一比高低.但普通的数独对他们来说都过于简单了,于是他们向Z 博士请教,Z 博士拿出了他最近发明的“ ...

  3. java android 访问DELPHI 的DATASNAP

    最新版的DELPHI开发DATASNAP非常简单便捷,DataSnap的REST风格和对JSON的支持,使之成为服务器端开发的神器. 一.DATASNAP服务器中的方法: TServerMethods ...

  4. 【Django】Apache上运行多个Django项目

    运行单个项目的步骤参考:这里 1 安装环境 操作系统:Ubuntu 12.04 LTS 32 位(安装在VMware虚拟机中) python 版本: Python 2.7.3 Django版本 > ...

  5. Oracle Study Note : Users and Basic Security

    1. view the default user account SQL> select username from dba_users; 2. lock all users and set t ...

  6. NOJ1103-全排列

    全排列 时间限制(普通/Java) : 1000 MS/ 3000 MS          运行内存限制 : 65536 KByte总提交 : 1148            测试通过 : 302  ...

  7. Linux下如何将数据库脚本文件从sh格式变为sql格式

    在从事软件开发的过程中,经常会涉及到在Linux下将数据库脚本文件从sh格式变为sql格式的问题.本文以一个实际的脚本文件为例,说明格式转换的过程.        1. sh文件内容 本文中的文件名为 ...

  8. JavaScript高级程序设计之window对象

    在浏览器中window对象实现了JavaScript中的Global对象: window对象是最顶层的对象: 所有其他全局的东西都可以通过它的属性检索到. ; window.aa = ; // 所有全 ...

  9. microsoft azure 速度测试网址

    http://www.azurespeed.com/ 选择你附近的区域.可以使用 azurespeed.com 查找延迟最低的数据中心.

  10. Java之XStream之下划线问题

    XStream将Java对象序列为XML, 如果对象属性带有下划线,输出到XML时会转成"__"双下划. 网上很多资料说是Bug, XStream开发的大神没有哪么笨吧? 查了一下 ...