ELK+kafka日志处理

此次使用kafka代替redis，elk集群搭建过程请参考：https://www.cnblogs.com/dmjx/p/9120474.html

kafka名词解释：

• 1、话题（Topic）：是特定类型的消息流。消息是字节的有效负载（Payload），话题是消息的分类名或种子（Feed）名；
• 2、生产者（Producer）：是能够发布消息到话题的任何对象；
• 3、服务代理（Broker）：已发布的消息保存在一组服务器中，它们被称为代理（Broker）或Kafka集群；
• 4、消费者（Consumer）：可以订阅一个或多个话题，并从Broker拉数据，从而消费这些已发布的消息；

系统环境信息：

CentOS Linux release 7.3.1611 (Core)

基础环境准备：

关闭防火墙：systemctl stop firewalld

SeLinux设为disabled： setenforce 0

jdk版本：jdk_1.8

kafka版本：kafka_2.12-2.1.0

本次搭建使用了三个节点，kafka下载地址：http://mirror.rise.ph/apache/kafka/2.1.0/kafka_2.12-2.1.0.tgz

环境搭建

zookeeoer配置部署：

1. 修改配置文件：zookeeper.properties

dataDir=/apps/product/zookeeper/data
clientPort=
maxClientCnxns=
tickTime=
initLimit=
syncLimit=

server.=10.20.88.199::
server.=10.20.88.200::
server.=10.20.88.201::

2. 创建zookeeper所需要的目录

mkdir /apps/product/zookeeper/data

3. 创建myid文件用于标识主机

echo  > /apps/product/zookeeper/data/myid

以上就时zookeeper的配置，将上边的配置复制到其他两个节点就可以了，注意修改myid文件。

4. 启动zookeeper并查看状态

./bin/zookeeper-server-start.sh config/zookeeper.properties >> /apps/product/kafka_2.-2.1./logs/zookeeper.log &

netstat -nlpt | grep -E "2181|2888|3888"
tcp               10.20.88.200:       0.0.0.0:*               LISTEN      /java
tcp               0.0.0.0:            0.0.0.0:*               LISTEN      /java
tcp               10.100.67.62:       0.0.0.0:*               LISTEN      /java     

kafka的配置部署：

1. 修改配置文件：server.properties（以下为本次的配置）

broker.id=
prot=
host.name=10.20.88.199
num.network.threads=
num.io.threads=
socket.send.buffer.bytes=
socket.receive.buffer.bytes=
socket.request.max.bytes=
log.dirs=/apps/product/kafka_2.-2.1./kafka_data
num.partitions=
offsets.topic.replication.factor=
transaction.state.log.replication.factor=
transaction.state.log.min.isr=
log.cleanup.policy=delete
log.retention.hours=
log.segment.bytes=
log.retention.check.interval.ms=
zookeeper.connect=10.20.88.199:,10.20.88.200:,10.20.88.201:
zookeeper.connection.timeout.ms=
log.cleaner.backoff.ms=
group.initial.rebalance.delay.ms=

2. 创建kafka所需要的数据目录

/apps/product/kafka_2.-2.1./kafka_data

3. kafka启动

./bin/kafka-server-start.sh config/server.properties >> /dev/null &

kafka的操作：

1. 创建一个topic

kafka-topics.sh --create --zookeeper 10.20.88.200: --replication-factor  --partitions  --topic test_wx
--partitions  　　　　　　　　 # 4个分区
--replication-factor     　　      # 3个副本
# 将分区被复制到三个broker上

2. 查看有哪些topic

bin/kafka-topics.sh --zookeeper 127.0.0.1: --list

3. 查看主题的详情

./bin/kafka-topics.sh --describe --zookeeper 10.20.88.199: --topic test_wx
Topic:test_wx   PartitionCount:        ReplicationFactor:     Configs:
        Topic: test_wx  Partition:     Leader:        Replicas: ,, Isr: ,,
        Topic: test_wx  Partition:     Leader:        Replicas: ,, Isr: ,,
        Topic: test_wx  Partition:     Leader:        Replicas: ,, Isr: ,,
        Topic: test_wx  Partition:     Leader:        Replicas: ,, Isr: ,,

4. 输入输出测试

# 输入
./bin/kafka-console-producer.sh --topic test_wx --broker-list 10.20.88.199:
# 输出
./bin/kafka-console-consumer.sh --bootstrap-server 10.20.88.199: --topic test_wx --from-beginning

5.  修改操作

# 增加分区数
./bin/kafka-topics.sh --zookeeper zk_host:port --alter --topic my_topic_name --partitions
# 增加配置
./bin/kafka-topics.sh --zookeeper zk_host:port --alter --topic my_topic_name --config flush.messages=
# 删除配置
./bin/kafka-topics.sh --zookeeper zk_host:port --alter --topic my_topic_name --delete-config flush.messages

6. 删除topic

# 删除topic
目前删除操作默认情况下只是打上一个删除的标记，再重新启动kafka后才删除。如果需要立即删除，则需要在server.properties中配置：delete.topic.enable=true

./bin/kafka-topics.sh --zookeeper zk_host:port --delete --topic my_topic_name

filebeat中输出至kafka配置

filebeat:
  prospectors:
    -
      paths:
        - /var/log/named/namequery.log

output.kafka:
    hosts: ["10.20.88.199:9092","10.20.88.200:9092","10.20.88.201:9092"]
    topic: 'dns_ct'
    partition.round_robin:
        reachable_only: false
    required_acks:
    compression: gzip
    max_message_bytes: 

logstash取kafka中的数据

input {
  kafka {
    bootstrap_servers => ["10.20.88.199:9092,10.20.88.200:9092,10.20.88.201:9092"]
    topics => ["dns_ct"]
    codec => "plain"
    auto_offset_reset => "latest"
    consumer_threads =>
    decorate_events => true
    type => "dns-ct"
  }
}

output {
  file { path => "/apps/logs/output-dns" }
  stdout { codec => rubydebug }
}