<source> @type tail path /data1/td-agent/wechat-tag*.log tag wechat-tag read_from_head true format none pos_file /var/log/td-agent/wechat-tag.pos</source> <match wechat-tag> @type kafka_buffered brokers myserver.com:9092 buffer_type file

分类: Linux 最近,做了几个ODI项目的部署,发现ODI agent所在的位置对整个E-LT工作的影响还是比较大的,根据Oracle的官方说法,agent一般需要部署在目标端的数据库服务器上,或者repository数据库服务器上(如果repository直接采用目标服务器就更简单了),但在实际的使用中,建议尽量还是将agent部署在目标端所在的服务器上. 一.agent的分类 在ODI中,有三类agent,一是/bin目录下直接运行agent.sh或agent.bat,该类agent只能

zabbix3.0 agent安装配置wget http://repo.zabbix.com/zabbix/3.0/rhel/6/x86_64/zabbix-agent-3.0.0-2.el6.x86_64.rpm yum -y install zabbix-agent-3.0.0-2.el6.x86_64.rpm sed -i 's/Server=127.0.0.1/Server=10.0.1.182/' /etc/zabbix/zabbix_agentd.confsed -i 's/Serv

Kafka配置(注意log.dirs不要配置在tmp目录下,因为该目录会被linux定时任务删除,会导致kafka崩溃)需要三个Kafka实例,分别安装在下面三个机器上:192.168.240.167192.168.240.168192.168.240.169 第一步,修改192.168.240.167机器上的Kafka配置config/server.properties:broker.id=1 listeners=PLAINTEXT://192.168.240.167:9093 这里必须加上I

如果之前没有安装jdk和zookeeper,安装了的请直接跳过 # https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html # ==================================================================安装 jdk mkdir -p /usr/java tar -zxvf ~/jdk-8u111-linux-x64

zabbix agent监控主机配置 环境说明 系统版本    CentOS 7.2 x86_64 软件版本    zabbix 3.0.18   1.监控zabbix服务器端 1.1 安装zabbix-agent 在服务端安装的zabbix-agent不用修改配置,默认就能用 [root@zabbix ~]# yum install zabbix-agent -y 1.2 启动 [root@zabbix ~]# systemctl start zabbix-agent.service [roo

Kafka配置信息 broker配置信息 属性 默认值 描述 broker.id 必填参数,broker的唯一标识 log.dirs /tmp/kafka-logs Kafka数据存放的目录.可以指定多个目录,中间用逗号分隔,当新partition被创建的时会被存放到当前存放partition最少的目录. port 9092 BrokerServer接受客户端连接的端口号 zookeeper.connect null Zookeeper的连接串,格式为:hostname1:port1,hostn

实验平台与软件: 操作系统:windows7 32  位 java 开发包: jdk1.8.0_144 集群: zookeeper-3.3.6 消息队列: kafka_2.11-0.11.0.1 安装序列: 1.  jdk安装预配置 jdk-8u144-windows-i586_8.0.1440.1.exe 点击安装:"下一步" ...   环境变量配置: 1)计算机/属性/高级系统设置/高级/环境变量,在系统变量中新建变量:JAVA_HOME    值:C:\Program File

Zabbix agent端 配置 agent端环境 zabbix-client:RHEL8 IP:192.168.121.11 一.安装 Zabbix 源 [root@zabbix-client ~]# wget https://mirrors.aliyun.com/zabbix/zabbix/4.0/rhel/8/x86_64/zabbix-release-4.0-2.el8.noarch.rpm [root@zabbix-client ~]# rpm -ivh zabbix-release-

1. 开发环境 1.1. 软件包下载 1.1.1. JDK下载地址 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 安装到 D:\GreenSoftware\Java\Java8X64\jdk1.8.0_91 目录 1.1.2. Maven下载地址 https://maven.apache.org/download.cgi 解压到 D:\GreenSoftware\apache

Kafka为broker,producer和consumer提供了很多的配置参数. 了解并理解这些配置参数对于我们使用kafka是非常重要的.本文列出了一些重要的配置参数. 官方的文档 Configuration比较老了,很多参数有所变动, 有些名字也有所改变.我在整理的过程中根据0.8.2的代码也做了修正. Boker配置参数 下表列出了Boker的重要的配置参数, 更多的配置请参考 kafka.server.KafkaConfig name 默认值 描述 brokerid none 每一个b

官网:http://kafka.apache.org/ 主要有3种安装方式: 1. 单机单broker 2. 单机多broker 3. 多机多broker 1. wget http://mirror.bit.edu.cn/apache/kafka/0.10.0.1/kafka_2.11-0.10.0.1.tgz 2. (可选,因为kafka自带zookeeper)wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.3.6/zo

一. Kafka中的相关概念的介绍 Kafka是一个scala实现的分布式消息中间件,其中涉及到的相关概念如下: Kafka中传递的内容称为message(消息),message 是通过topic(话题)进行分组的 topic 和message 的关系是一对多的关系我们称发布message的进程为producer ,就是说producer生成<topic->message>对然后 丢进kafka集群相对应的称订阅topic处理对应message的进程为consumerKafka集群中的节

下载Windows的zabbix客户端 下载地址:http://www.zabbix.com/download.php 从官方下载Zabbix Agent后,压缩包里面有2个目录,bin和conf,conf里面的配置文件是通用的.bin文件夹里包含两个文件夹,一个为win32,另一个是win64,每个目录下应该有3个文件,分别 为:zabbix_agentd.exe zabbix_get.exe zabbix_sender.exe 根据操作系统不同,选择不同文件放在c:\zabbix目录下,默认

注意: 此文档为生产上操作文档,省略了IP,oracle用户server,agent 端至少需要sudo,ping,ssh,创建目录权限. 一.安装要求 1.1. 系统情况一览 IP 数据库 OEM 操作系统 数据库版本 XX1 单机 service(12.1.0.5) Linux 6.7 oracle11.2.0.4 XX2 RAC agent Linux 6.7 Oracle11.2.0.4 XX3 RAC agent Linux 6.7 Oracle11.2.0.4 注意:OEM管理RAC

1. 准备三台机器,系统CentOs6 2. 安装好JDK和zookeeper 参考: zookeeper配置记录 3. 解压安装包到指定目录 tar -zxvf kafka_2.12-2.1.0.tgz -C /javatools 4. 创建一个文件夹,用来存放日志(集群所有机器都要有) mkdir -p /kafkadata 5. 配置kafka config目录下的server.properties文件 每一个broker在集群中的唯一表示,要求是正数.当该服务器的IP地址发生改变时,br

1.从官网下载安装包 http://kafka.apache.org/downloads2.上传到01虚拟机,解压3.进入安装目录下的config目录4.对server.properties进行配置 [root@hadoop01 config]# vim server.properties 配置示例: broker.log.dirs=/home/software/kafka_2.10-0.10.0.1/kafka-logs zookeeper.connect=hadoop01:,hadoop02

1.官方网站也有配置: https://flume.apache.org/FlumeUserGuide.html#kafka-source 2.clodera 官方配置 https://www.cloudera.com/documentation/kafka/2-0-x/topics/kafka_flume.html 1\ tier1.sources = source1 tier1.channels = channel1 tier1.sinks = sink1 tier1.sources.sou

配置文件在config/server.properties 下面的一些配置可能是你需要进行修改的. 这里为官方提供配置文件解释:https://kafka.apache.org/08/configuration.html 字段名 注释 备注 推荐配置(如留空,则选用默认配置则可) broker.id 整数,建议根据ip区分   推荐利用ip如:192.168.1.1: 则利用ip末位作为id: 方便对应ip寻找broker log.dirs kafka存放消息文件的路径, 默认/tmp/kafk

概念 运维 配置 监控 生产者与消费者 流处理 分区partition 一定条件下,分区数越多,吞吐量越高.分区也是保证消息被顺序消费的基础,kafka只能保证一个分区内消息的有序性 副本 每个分区有一至多个副本(Replica),分区的副本分布在集群的不同代理上,提高可用性.分区的每个副本在存储上对应与日志对象log对应 AR 每个分区的多个部分之间称为AR(assigned replicas),包含至多一份leader副本和多个follower副本 ISR kafka在zookeeper中动

安装 解压放到/opt/kafka, 软链一个latest出来, 先要启动zookeeper. 可以使用独立的zookeeper服务, 也可以用kafka自带的, 在lib目录下带了zookeeper. 启动zookeeper ./bin/zookeeper-server-start.sh ./config/zookeeper.properties 然后启动kafka ./bin/kafka-server-start.sh ./config/server.properties 此时数据日志在 /