GO学习-(35) Go实现日志收集系统4
Go实现日志收集系统4
到这一步,我的收集系统就已经完成很大一部分工作,我们重新看一下我们之前画的图:
我们已经完成前面的部分,剩下是要完成后半部分,将kafka中的数据扔到ElasticSearch,并且最终通过kibana展现出来
ElasticSearch
官网地址这里介绍了非常详细的安装方法:
https://www.elastic.co/downloads/elasticsearch
但是其实这里是需要配置一些东西的,要不然直接启动是会悲剧的,在网上找了一个地址,如果出现类似的错误直接处理就行,我自己已经验证了:
https://blog.csdn.net/liangzhao_jay/article/details/56840941
如下图所示就表示已经安装完成:
通过go写一个简单的调用ElasticSearch的例子:
package main import (
"fmt"
elastic "gopkg.in/olivere/elastic.v2"
) type Tweet struct{
User string
Message string
} func main(){
client,err := elastic.NewClient(elastic.SetSniff(false),elastic.SetURL("http://192.168.0.118:9200/"))
if err != nil{
fmt.Println("connect es error",err)
return
}
fmt.Println("conn es succ")
tweet := Tweet{User:"olivere name",Message:"Take Five"}
_, err = client.Index().Index("twitter").Type("tweet").Id("1").BodyJson(tweet).Do()
if err != nil {
panic(err)
return
}
fmt.Println("insert succ")
}
logtransfer
logtransfer主要负责从 kafka队列中读取日志信息,并且添加到ElasticSearch中
看那一下logtransfer 目录结构如下:
├── conf
│ └── app.conf
├── es.go
├── etcd.go
├── ip.go
├── kafka.go
├── logs
│ └── transfer.log
└── main.go
conf:存放配置文件
es.go:主要是连接ElasticSearch的部分以及用于将消息放到ElasticSearch中
etcd.go:主要用于做动态的配置更改,当我们需要将kafka中的哪些topic日志内容扔到ElasticSearch中
ip.go: 用于获取当前服务器的ip地址
kafka.go: 主要是kafka的处理逻辑,包括连接kafka以及从kafka中读日志内容
main.go:代码的入口函数
整体大代码框架,通过如图展示:
和之前的logagent中的代码有很多启示是可以复用的或者稍作更改,就可以了,其中es之心的,主要是连接ElasticSearch并将日志内容放进去
es.go的代码内容为:
package main import (
"gopkg.in/olivere/elastic.v2"
"github.com/astaxie/beego/logs"
"sync"
"encoding/json"
) var waitGroup sync.WaitGroup var client *elastic.Client func initEs(addr string,) (err error){
client,err = elastic.NewClient(elastic.SetSniff(false),elastic.SetURL(addr))
if err != nil{
logs.Error("connect to es error:%v",err)
return
}
logs.Debug("conn to es success")
return
} func reloadKafka(topicArray []string) {
for _, topic := range topicArray{
kafkaMgr.AddTopic(topic)
}
} func reload(){
//GetLogConf() 从channel中获topic信息,而这部分信息是从etcd放进去的
for conf := range GetLogConf(){
var topicArray []string
err := json.Unmarshal([]byte(conf),&topicArray)
if err != nil {
logs.Error("unmarshal failed,err:%v conf:%v",err,conf)
continue
}
reloadKafka(topicArray)
}
} func Run(esThreadNum int) (err error) {
go reload()
for i:=0;i<esThreadNum;i++{
waitGroup.Add(1)
go sendToEs()
}
waitGroup.Wait()
return
} type EsMessage struct {
Message string
} func sendToEs(){
// 从msgChan中读取日志内容并扔到elasticsearch中
for msg:= range GetMessage() {
var esMsg EsMessage
esMsg.Message = msg.line
_,err := client.Index().Index(msg.topic).Type(msg.topic).BodyJson(esMsg).Do()
if err != nil {
logs.Error("send to es failed,err:%v",err)
continue
}
logs.Debug("send to es success")
}
waitGroup.Done()
}
最终我将logagnet以及logtransfer部署到虚拟机上进行测试的效果是:
这样当我再次查日志的时候就可以不用登陆每台服务器去查日志,只需要通过页面根据关键字迅速看到相关日志,当然目前实现的功能还是有点粗糙,etcd的更改程序,是自己写的发送程序,其实更好的解决方法是通过页面,让用户点来点去,来控制自己要收集哪些日志,以及自己要将哪些topic的日志从kafka中放到ElasticSearch (本人是做后端开发,不擅长前端的开发,不过后面可以试着写个页面试试,估计会很丑哈哈)
同时这里关于各个部分的安装并没有做过多的介绍,以及维护,当然我们的目标是是通过这些开源的软件以及包来实现我们想要的功能,后期的维护,肯定需要对各个组件部分都进行深入了解
这里附赠一下那个etcd客户端代码:
package main import (
"github.com/coreos/etcd/clientv3"
"time"
"fmt"
"golang.org/x/net/context"
) var logconf = `
[
{
"topic":"eslservice_log",
"log_path":"/opt/pbx/log/eslservice.log",
"service":"eslservice",
"send_rate":50000
}
]
` var test111 = `
[
{
"topic":"test_log",
"log_path":"D:/a.log",
"service":"test",
"send_rate":50000
}
]
` var transconf = `
[
"eslservice_log"
]
` func main() {
cli, err := clientv3.New(clientv3.Config{
Endpoints:[]string{"192.168.90.78:2371"},
DialTimeout:5*time.Second,
})
if err != nil {
fmt.Println("connect failed,err:",err)
return
}
fmt.Println("connect success")
defer cli.Close()
ctx,cancel := context.WithTimeout(context.Background(),time.Second)
//_,err = cli.Put(ctx,"/logagent/192.168.90.11/log_config",logconf)
//_,err = cli.Put(ctx,"/logagent/192.168.90.61/log_config",test111)
_, err = cli.Put(ctx,"/logtransfer/192.168.90.11/log_config",transconf)
cancel()
if err != nil {
fmt.Println("put failed ,err:",err)
return
}
ctx,cancel = context.WithTimeout(context.Background(),time.Second)
resp,err := cli.Get(ctx,"/logtransfer/",clientv3.WithPrefix())
cancel()
if err != nil {
fmt.Println("get failed,err:",err)
return
}
for _,ev:=range resp.Kvs{
fmt.Printf("%s:%s\n",ev.Key,ev.Value)
}
}
GO学习-(35) Go实现日志收集系统4的更多相关文章
- GO学习-(34) Go实现日志收集系统3
Go实现日志收集系统3 再次整理了一下这个日志收集系统的框,如下图 这次要实现的代码的整体逻辑为: 完整代码地址为: etcd介绍 高可用的分布式key-value存储,可以用于配置共享和服务发现 ...
- GO学习-(33) Go实现日志收集系统2
Go实现日志收集系统2 一篇文章主要是关于整体架构以及用到的软件的一些介绍,这一篇文章是对各个软件的使用介绍,当然这里主要是关于架构中我们agent的实现用到的内容 关于zookeeper+kaf ...
- GO学习-(32) Go实现日志收集系统1
Go实现日志收集系统1 项目背景 每个系统都有日志,当系统出现问题时,需要通过日志解决问题 当系统机器比较少时,登陆到服务器上查看即可满足 当系统机器规模巨大,登陆到机器上查看几乎不现实 当然即使是机 ...
- Go语言学习之11 日志收集系统kafka库实战
本节主要内容: 1. 日志收集系统设计2. 日志客户端开发 1. 项目背景 a. 每个系统都有日志,当系统出现问题时,需要通过日志解决问题 b. 当系统机器比较少时,登陆到服务器上查看即可 ...
- ELK+kafka构建日志收集系统
ELK+kafka构建日志收集系统 原文 http://lx.wxqrcode.com/index.php/post/101.html 背景: 最近线上上了ELK,但是只用了一台Redis在 ...
- 基于Flume的美团日志收集系统 架构和设计 改进和优化
3种解决办法 https://tech.meituan.com/mt-log-system-arch.html 基于Flume的美团日志收集系统(一)架构和设计 - https://tech.meit ...
- 容器云平台No.9~kubernetes日志收集系统EFK
EFK介绍 EFK,全称Elasticsearch Fluentd Kibana ,是kubernetes中比较常用的日志收集方案,也是官方比较推荐的方案. 通过EFK,可以把集群的所有日志收集到El ...
- Flume -- 开源分布式日志收集系统
Flume是Cloudera提供的一个高可用的.高可靠的开源分布式海量日志收集系统,日志数据可以经过Flume流向需要存储终端目的地.这里的日志是一个统称,泛指文件.操作记录等许多数据. 一.Flum ...
- [转载] 一共81个,开源大数据处理工具汇总(下),包括日志收集系统/集群管理/RPC等
原文: http://www.36dsj.com/archives/25042 接上一部分:一共81个,开源大数据处理工具汇总(上),第二部分主要收集整理的内容主要有日志收集系统.消息系统.分布式服务 ...
随机推荐
- 不一样的角度理解Vue组件
什么是组件 以Java.C#等面向对象编程语言的角度去理解Vue组件,能够发现组件和面向对象编程的方式和风格很相似.一切事物皆为对象,通过面向对象的方式,将现实世界的事物抽象成对象,现实世界中的关系抽 ...
- 浅谈跨域问题,CORS跨域资源共享
1,何为跨域? 在理解跨域问题之前,你先要了解同源策略和URL,简单叙述: 1)同源策略 三同:协议相同,域名相同,端口相同: 目的:保证用户信息安全,防止恶意网站窃取数据.同源策略是必须的,否则co ...
- NodeJS中的LRU缓存(CLOCK-2-hand)实现
转载请注明出处:葡萄城官网,葡萄城为开发者提供专业的开发工具.解决方案和服务,赋能开发者. 原文参考:https://www.codeproject.com/Articles/5299328/LRU- ...
- pc/shouji/weixin判断跳转
pc 和 手机端 判断 function IsPC() { var userAgentInfo = navigator.userAgent; var Agents = ["Android&q ...
- LA4636积木艺术
题意: 有一些1*1*1的单位正方体积木,现在要摆积木,每一块积木有两种方法,要么放在地面上,要么放在别的积木的正上方,现在给你摆好积木的正面图和侧面图,问你最少用了多少块积木. 思路: ...
- POJ2669不错的最大流 竞赛问题(枚举King的个数)
题意: 有n个人,任意两个人都比一次赛(一共比了n*(n-1)/2场),赢一场得到一分,最后的时候如果得分最高,或者是自己打败了所有比自己得分都高的人就算是King,给你每个人的最后得分, ...
- RDPInception攻击手法
在讲RDPInception攻击手段之前,我们先了解一下RDP远程桌面(Remote Desktop Protocol)协议.RDP远程桌面协议(Remote Desktop Protocol)是一个 ...
- Windows PE 第八章 延迟加载导入表
延迟加载导入表 延迟加载导入表是PE中引入的专门用来描述与动态链接库延迟加载相关的数据,因为这些数据所引起的作用和结构与导入表数据基本一致,所以称为延迟加载导入表. 延迟加载导入表和导入表是相互分离的 ...
- python之xlwt
python写excel----xlwt 写excel的拿点不在构造一个workbook的本身,二是填充的数据,不过这不在范围内,在写excel的操作中也有棘手的问题, 比如写入合并的单元格就是比较麻 ...
- 如何解决 shell 脚本重复执行的问题
在开发过程中,经常会使用shell脚本去完成定时备份的任务,普遍的做法是通过系统的定时任务定时执行备份脚本 设想这样一种场景,本次备份时间到了,自动执行备份脚本,如果备份比较耗时的话,会一直持续到下一 ...