Burrow 服务的安装部署
Burrow 服务的安装部署
作者：尹正杰
版权声明：原创作品，谢绝转载！否则将追究法律责任。
最近协助开发的同时帮忙把10个topic的数据使用5个topic的来工作。结果发现数据flume在手机数据时存在延迟消费的问题。因此遇到了不少坑，要是有个专门监控kafka consumer lag的开源软件就好了！当然我们通过kafka-consumer-groups.sh这个命令也可以查看到相应的参数，但每次都需要敲击命令行。无意间听网友说有LinkedIn公司开源有一款叫做Burrow都软件，专门是对kafka消费这延迟检查。
一.Burrow概述
1>.什么是Burrow
Burrow是Apache Kafka的监控伴侣，它将消费者滞后检查作为服务提供，无需指定阈值。它监控所有消费者的承诺抵消额，并根据需要计算这些消费者的状态。提供HTTP端点以按需请求状态，以及提供其他Kafka群集信息。还有可配置的通知程序可以通过电子邮件或HTTP调用将状态发送到另一个服务。
2>.Burrow特征
没有门槛！通过滑动窗口评估组。
多个Kafka群集支持
使用Kafka提交的偏移自动监视所有使用者
可配置支持Zookeeper提交的偏移量
可配置支持Storm-committed offsets
消费者组状态的HTTP端点，以及代理和消费者信息
可配置的电子邮件程序，用于发送特定组的警报
可配置的HTTP客户端，用于向所有组的另一个系统发送警报
3>.先决条件
Burrow是用Go编写的，所以在开始之前，你应该安装并设置Go。
二.安装Golang环境
1>.下载 go 的安装包
[root@node101.yinzhengjie.org.cn ~/Downloads]# wget https://dl.google.com/go/go1.12.1.linux-amd64.tar.gz
---- ::-- https://dl.google.com/go/go1.12.1.linux-amd64.tar.gz
Resolving dl.google.com (dl.google.com)... 203.208.41.70, 203.208.41.72, 203.208.41.65, ...
Connecting to dl.google.com (dl.google.com)|203.208.41.70|:... connected.
HTTP request sent, awaiting response... OK
Length: (122M) [application/octet-stream]
Saving to: ‘go1.12.1.linux-amd64.tar.gz’ %[=========================================================================================================================================================================>] ,, .27MB/s in 54s -- :: (2.28 MB/s) - ‘go1.12.1.linux-amd64.tar.gz’ saved [/] [root@node101.yinzhengjie.org.cn ~/Downloads]#
[root@node101.yinzhengjie.org.cn ~/Downloads]# wget https://dl.google.com/go/go1.12.1.linux-amd64.tar.gz
2>.解压go的安装包到指定目录
[root@node101.yinzhengjie.org.cn ~/Downloads]# tar -zxf go1.12.1.linux-amd64.tar.gz -C /yinzhengjie/softwares/
[root@node101.yinzhengjie.org.cn ~/Downloads]#
[root@node101.yinzhengjie.org.cn ~/Downloads]# ll /yinzhengjie/softwares/go/
total
drwxr-xr-x. root root Mar : api
-rw-r--r--. root root Mar : AUTHORS
drwxr-xr-x. root root Mar : bin
-rw-r--r--. root root Mar : CONTRIBUTING.md
-rw-r--r--. root root Mar : CONTRIBUTORS
drwxr-xr-x. root root Mar : doc
-rw-r--r--. root root Mar : favicon.ico
drwxr-xr-x. root root Mar : lib
-rw-r--r--. root root Mar : LICENSE
drwxr-xr-x. root root Mar : misc
-rw-r--r--. root root Mar : PATENTS
drwxr-xr-x. root root Mar : pkg
-rw-r--r--. root root Mar : README.md
-rw-r--r--. root root Mar : robots.txt
drwxr-xr-x. root root Mar : src
drwxr-xr-x. root root Mar : test
-rw-r--r--. root root Mar : VERSION
[root@node101.yinzhengjie.org.cn ~/Downloads]#
[root@node101.yinzhengjie.org.cn ~/Downloads]#
[root@node101.yinzhengjie.org.cn ~/Downloads]# tar -zxf go1.12.1.linux-amd64.tar.gz -C /yinzhengjie/softwares/
3>.配置go到环境变量
[root@node101.yinzhengjie.org.cn ~/Downloads]#
[root@node101.yinzhengjie.org.cn ~/Downloads]# mkdir /yinzhengjie/goproject
[root@node101.yinzhengjie.org.cn ~/Downloads]#
[root@node101.yinzhengjie.org.cn ~/Downloads]#
[root@node101.yinzhengjie.org.cn ~/Downloads]# tail - /etc/profile
#ADD GO_PATH
export GO_HOME=/yinzhengjie/softwares/go
export PATH=$PATH:$GO_HOME/bin
export GOPATH=/yinzhengjie/goproject [root@node101.yinzhengjie.org.cn ~/Downloads]#
[root@node101.yinzhengjie.org.cn ~/Downloads]#
[root@node101.yinzhengjie.org.cn ~/Downloads]# tail -5 /etc/profile
[root@node101.yinzhengjie.org.cn ~/Downloads]# source /etc/profile
[root@node101.yinzhengjie.org.cn ~/Downloads]#
[root@node101.yinzhengjie.org.cn ~/Downloads]# go env
GOARCH="amd64"
GOBIN=""
GOCACHE="/root/.cache/go-build"
GOEXE=""
GOFLAGS=""
GOHOSTARCH="amd64"
GOHOSTOS="linux"
GOOS="linux"
GOPATH="/yinzhengjie/goproject"
GOPROXY=""
GORACE=""
GOROOT="/yinzhengjie/softwares/go"
GOTMPDIR=""
GOTOOLDIR="/yinzhengjie/softwares/go/pkg/tool/linux_amd64"
GCCGO="gccgo"
CC="gcc"
CXX="g++"
CGO_ENABLED=""
GOMOD=""
CGO_CFLAGS="-g -O2"
CGO_CPPFLAGS=""
CGO_CXXFLAGS="-g -O2"
CGO_FFLAGS="-g -O2"
CGO_LDFLAGS="-g -O2"
PKG_CONFIG="pkg-config"
GOGCCFLAGS="-fPIC -m64 -pthread -fmessage-length=0 -fdebug-prefix-map=/tmp/go-build685793832=/tmp/go-build -gno-record-gcc-switches"
[root@node101.yinzhengjie.org.cn ~/Downloads]#
[root@node101.yinzhengjie.org.cn ~/Downloads]#
[root@node101.yinzhengjie.org.cn ~/Downloads]# go env
三.Burrow安装
1>.Burrow的github地址（https://github.com/linkedin/Burrow）
2>.安装git工具
[root@node101.yinzhengjie.org.cn ~]# yum -y install git
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
* base: mirrors.aliyun.com
* extras: mirrors.aliyun.com
* updates: mirrors.aliyun.com
Resolving Dependencies
--> Running transaction check
---> Package git.x86_64 :1.8.3.1-.el7 will be installed
--> Processing Dependency: perl-Git = 1.8.3.1-.el7 for package: git-1.8.3.1-.el7.x86_64
--> Processing Dependency: perl(Term::ReadKey) for package: git-1.8.3.1-.el7.x86_64
--> Processing Dependency: perl(Git) for package: git-1.8.3.1-.el7.x86_64
--> Processing Dependency: perl(Error) for package: git-1.8.3.1-.el7.x86_64
--> Running transaction check
---> Package perl-Error.noarch :0.17020-.el7 will be installed
---> Package perl-Git.noarch :1.8.3.1-.el7 will be installed
---> Package perl-TermReadKey.x86_64 :2.30-.el7 will be installed
--> Finished Dependency Resolution Dependencies Resolved ===================================================================================================================================================================================================================
Package Arch Version Repository Size
===================================================================================================================================================================================================================
Installing:
git x86_64 1.8.3.1-.el7 updates 4.4 M
Installing for dependencies:
perl-Error noarch :0.17020-.el7 base k
perl-Git noarch 1.8.3.1-.el7 updates k
perl-TermReadKey x86_64 2.30-.el7 base k Transaction Summary
===================================================================================================================================================================================================================
Install Package (+ Dependent packages) Total download size: 4.5 M
Installed size: M
Downloading packages:
(/): perl-Error-0.17020-.el7.noarch.rpm | kB ::
perl-TermReadKey-2.30-.el7.x FAILED
http://mirrors.cloud.aliyuncs.com/centos/7/os/x86_64/Packages/perl-TermReadKey-2.30-20.el7.x86_64.rpm: [Errno 14] curl#6 - "Could not resolve host: mirrors.cloud.aliyuncs.com; Unknown error" 0 B --:--:-- ETA
Trying other mirror.
(/): perl-TermReadKey-2.30-.el7.x86_64.rpm | kB ::
perl-Git-1.8.3.1-.el7.noarch FAILED
http://mirrors.cloud.aliyuncs.com/centos/7/updates/x86_64/Packages/perl-Git-1.8.3.1-20.el7.noarch.rpm: [Errno 14] curl#6 - "Could not resolve host: mirrors.cloud.aliyuncs.com; Unknown error" 0 B --:--:-- ETA
Trying other mirror.
(/): git-1.8.3.1-.el7.x86_64.rpm | 4.4 MB ::
(/): perl-Git-1.8.3.1-.el7.noarch.rpm | kB ::
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Total 2.1 MB/s | 4.5 MB ::
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
Installing : :perl-Error-0.17020-.el7.noarch /
Installing : perl-TermReadKey-2.30-.el7.x86_64 /
Installing : git-1.8.3.1-.el7.x86_64 /
Installing : perl-Git-1.8.3.1-.el7.noarch /
Verifying : perl-Git-1.8.3.1-.el7.noarch /
Verifying : :perl-Error-0.17020-.el7.noarch /
Verifying : git-1.8.3.1-.el7.x86_64 /
Verifying : perl-TermReadKey-2.30-.el7.x86_64 / Installed:
git.x86_64 :1.8.3.1-.el7 Dependency Installed:
perl-Error.noarch :0.17020-.el7 perl-Git.noarch :1.8.3.1-.el7 perl-TermReadKey.x86_64 :2.30-.el7 Complete!
[root@node101.yinzhengjie.org.cn ~]#
[root@node101.yinzhengjie.org.cn ~]# yum -y install git
2>.
3>.
4>.
5>.
Burrow 服务的安装部署的更多相关文章
- 通过跳板机建立信任，对多个tomcat服务统一安装部署（shell编写）
unifyDeploy 自动化统一安装部署 系统版本: unifyDeploy0.1 文件编号: 0.1 发布日期: 2014-06-26 编 制: WangYong 版权所有 内部资料注意保密 ...
- Zabbix 3.4 服务端安装部署
关于zabbix的安装部署官方也提供了详细的安装文档,链接如下: https://www.zabbix.com/download 选择zabbix的版本,服务器平台及使用的数据库 安装和配置zabbi ...
- Windows 2008 R2环境下DHCP服务的安装部署使用
(第一版本) 这个实验好像需要在部署了activity directory服务的基础上的,给个直达链接 http://blog.csdn.net/qq_34829953/article/details ...
- 对象存储服务MinIO安装部署分布式及Spring Boot项目实现文件上传下载
目录 一.MinIO快速入门 1. MinIO简介 2. CentOS7更换成阿里云镜像 3. 安装 3.1 下载 3.2 运行测试 4. 配置脚本执行文件 4.1 创建配置执行文件 4.2 执行 二 ...
- OpenVPN Windows 平台安装部署教程
一.环境准备: 操作系统Windows 服务器IP:192.168.88.123 VPN:192.168.89.1 客户端IP:192.168.78.3 客户端服务端单网卡,路由器做好端口映射 安装 ...
- 使用Kickstart+pxe自动化安装部署无人值守的linux服务器
Kickstart+pxe Kickstart无人职守安装RHEL5过程分享(详细图解版) 启动应用有:httpd.dhcpd.named.xinetd 无人职守自动批量安装linux系统超详细 参考 ...
- centos7安装部署SVN
SVN介绍 SVN是个自由.开源的版本控制系统,绝大多数开源软件都使用SVN作为代码版本管理软件. SVN的官方网站http://subversion.apache.org/.目前SVN在开源社区 ...
- Spring boot centos7 后台服务安装部署
Spring boot 应用服务安装部署(maven工程) 1.首先在maven工程的pom文件中引入以下标签并保存 <build> <plugins> <plugin& ...
- 微服务（入门一）：netcore安装部署consul
环境准备 vs开发环境:vs2017 consul版本: 1.4.4 netcore版本:2.1 安裝Consul 1.从官网下载consul到本地,选择系统对应的版本进行下载到本地,下载地址:h ...
随机推荐
- java基础之Number
1.Java是一个近乎纯洁的面向对象编程语言,但是为了编程的方便还是引入了基本数据类型,但是为了能够将这些基本数据类型当成对象操作,Java为每一个基本数据类型都引入了对应的包装类型(wrapper ...
- P1064 金明的预算方案
思路:就是一个背包问题 因为数据范围小,所以不把 1个带附着物的东西 拆成 带1个带2个或不带 #include<bits/stdc++.h> using namespace std; ...
- 【XSY2787】Mythological VII 贪心
题目描述 有两个指针\(l,r\),初始时\(l=r=k\) 给你\(a_1,\ldots,a_n\),你要移动\(l,r\),\(l\)只能每次向左移一个数,\(r\)只能向右移一个数,要求任意时刻 ...
- MT【246】方程根$\backsim$图像交点
已知函数$f(x)=x^2+x-2$,若$g(x)=|f(x)|-f(x)-2mx-2m^2$ 有三个不同的零点,则$m$的取值范围_____ 分析:等价于$h(x)=|f(x)|-f(x),t(x) ...
- kubernetes 基础命令及操作
获取集群的基本信息kubectl cluster-infokubectl get nodeskubectl get namespaceskubectl get deployment --all-nam ...
- OpenDCIM-19.01操作手册
OpenDCIM-19.01操作手册 1. 界面标签解析 1.1 用户管理 用户管理 部门管理 用户管理被存在数据表fac_User中,包含以下字段: UserID:是管理员还是用户 Name:报表 ...
- HR_Sherlock and Anagrams_TIMEOUT[UNDONE]
2019年1月10日15:39:23 去掉了所有不必要的循环区间 还是超时 本地运行大概3s #!/bin/python3 import math import os import random im ...
- Java复习总结——详细理解Java反射机制
反射是什么 反射的作用用一句简单的话来讲就是可以对代码进行操作的代码,这个特性经常在被用于创建JavaBean中,通常造轮子的人会用到这个特性,而应用程序员用到这个特性的场景则较少. 能够分析类能力的 ...
- 使用指针来实现变长数组（VLA）
实现代码: #include <cstdio> #include <cstdlib> void usePtoImplementVLA(int SIZE) { scanf(&qu ...
- 【SFA官方翻译】Spring WebFlux和Spring Cloud进行响应式微服务开发
源码,修正一些错误: https://github.com/bigben0123/sample-spring-cloud-webflux 原创 SpringForAll社区 2018-05-18 作者 ...