python-kafka实现produce与consumer
1.python-kafka:
api送上:https://kafka-python.readthedocs.io/en/latest/apidoc/KafkaConsumer.html
2.实现一个broker、topic可配置的生产者与消费者:
#coding=utf-8 import time
import logging
import sys
import json
import etc.config as conf
sys.path.append('***********/kafka-python-1.3.3')
from kafka import KafkaProducer
from kafka import KafkaConsumer
from kafka.errors import KafkaError
from kafka import TopicPartition def log_name():
base_name = conf.kafka_logDir
date = time.strftime('%Y%m%d',time.localtime(time.time())) + '.log'
return base_name + date logging.basicConfig(level=logging.DEBUG,
format='%(asctime)-15s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
datefmt='%Y-%m-%d %H:%M:%S',
filename=log_name(),
filemode='a'
)
console = logging.StreamHandler()
console.setLevel(logging.INFO)
logging.getLogger('').addHandler(console) class kfkProducer(object): # producer = None def __init__(self, broker, kafkaPort, kafkaTopic=''):
self._broker = broker
self._kafkaPort = kafkaPort
self._kafkaTopic = kafkaTopic def __str__(self):
logging.info("--------------------------------")
logging.info("kafka-producer params ...")
logging.info("[KAFKA-BROKER]:%s" %self._broker)
logging.info("[KAFKA-PORT]:%s" %self._kafkaPort)
logging.info("[KAFKA-TOPIC]:%s" %self._kafkaTopic)
logging.info("--------------------------------") def registerKfkProducer(self):
try:
producer = KafkaProducer(bootstrap_servers = '{kafka_host}:{kafka_port}'.format(
kafka_host=self._broker,
kafka_port=self._kafkaPort
))
except KafkaError as e:
logging.info(e)
return producer def produceMsg(self, topic, msg, partition=0):
# 自动将输入字符串转化为json格式,产出消息
if(topic in ('', None)):
logging.error("topic is None, plz check!")
else:
try:
# parmas_message = json.dumps(msg)#转化为json格式
producer = self.registerKfkProducer()
producer.send(topic, value=msg, partition=partition)
producer.flush()
# time.sleep(1)
except KafkaError as e:
logging.info(e) class kfkConsumer(object): # consumer = None def __init__(self, broker, kafkaPort, kafkaTopic=''):
self._broker = broker
self._kafkaPort = kafkaPort
self._kafkaTopic = kafkaTopic def __str__(self):
logging.info("--------------------------------")
logging.info("kafka-consumer params ...")
logging.info("[KAFKA-BROKER]:%s" %self._broker)
logging.info("[KAFKA-PORT]:%s" %self._kafkaPort)
logging.info("[KAFKA-TOPIC]:%s" %self._kafkaTopic)
logging.info("--------------------------------") def registerConsumer(self):
try:
consumer = KafkaConsumer(
bootstrap_servers=[self._broker+':'+self._kafkaPort],
auto_offset_reset='earliest')
except KafkaError as e:
logging.info(e)
return consumer def consumerMsg(self, topic, partition=0):
if(topic in ('', None)):
logging.error("topic is None, plz check!")
else:
try:
v_consumer = self.registerConsumer()
v_consumer.assign([TopicPartition(topic,partition)])
# self.registerConsumer.subscribe([self._kafkaTopic])
for message in v_consumer:
# message value and key are raw bytes -- decode if necessary!
# e.g., for unicode: `message.value.decode('utf-8')
logging.info("%s:%d:%d: msg=%s" % (message.topic, message.partition,
message.offset, message.value.decode('utf-8')))
except KafkaError as e:
logging.info(e)
3.实现命令行输入topic和partition,即可生产消息:
#coding=utf-8 import os
import sys
import json
import etc.config as conf
from PykafkaMgr import kfkProducer #从json文件获取消息
def getMsgFromJsonfile(filePath):
if(not os.path.isfile(filePath)):
print(u"[%s] 输入的json文件路径有误,请检查..." %filePath)
else:
with open(filePath) as json_file:
return json.load(json_file) def except4v():
if(len(sys.argv) <= 1):
print(u"未输入topic和partition!\n你可以--help查看具体使用方法...")
elif(sys.argv[1].startswith("--")):
option = sys.argv[1][2:]
# print(option)
if(option in ("version", "Version")):
print("Version 1.0 \nPython 2.7.3 (default, Nov 6 2015, 14:11:14) \
\n[GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2")
elif(option == "help"):
print(u"produceMsg.py 接收两个参数, 第一个是topic, 第二个是partition \neg:python produceMsg.py test 0 \n向topic名为test第0分区生产消息") def calcMsg(jsonMsg):
sumMsg, sumAcct = 0, 0
msgNum = len(jsonMsg)
print("------------------------------------------")
for i in range(msgNum):
acct_num = len(jsonMsg[i]["MSGBODY"])
print(u"第[%d]条消息,包含ACCT_ID账户数:[%d]个"%(i+1, acct_num))
sumMsg = i+1
sumAcct += acct_num
acct_num = 0
print(u"本次生产消息总共[%d]条, 总共账户数:[%d]个"%(sumMsg, sumAcct))
print("------------------------------------------") if __name__ == '__main__': except4v() if(len(sys.argv) == 3):
topic = sys.argv[1]
partition = int(sys.argv[2])
produce = kfkProducer(conf.kafka_mgr["broker"], conf.kafka_mgr["port"], topic)
produce.__str__()
jsonMsg = getMsgFromJsonfile(conf.kafka_produce)
for i in range(len(jsonMsg)):
produce.produceMsg(topic, ('%s'%jsonMsg[i]).encode('utf-8'), partition)
calcMsg(jsonMsg)
4.设置两个配置文件:
第一个是config.py
#coding=utf-8 #broker配置还有一种方式是:kafka_mgr={"broker":'ip1:port,ip2:port,...,ipn:port'},就是改为kafka集群,不过代码要稍微作调整(参数列表改下就行了)。当然配置两种,通过一个开关去控制也可以。自选
kafka_mgr = {
"broker" : '10.***.***.***',
"port" : 6667,
} kafka_logDir = r"/*******/log/****" #生产者输入json文件
kafka_produce = r"/**********/data/input/produceMsg.json"
生产者输入json文件:
produceMsg.json
json文件附上说明,具体可以按照说明配置 hi, welcome here~ produceMsg.json
=================================
输入json格式数据,作为生产者消息的输入。
1.支持多条json数据输入。格式如下:
[
json1,
json2,
...,
jsonN
]
总体结构是:[ , ] 2.此json文件不能加注释,因为会破坏json文件格式,导致无法解析
3.输入只要是json格式,不需要关注是不是一行或多行,多换行、空格等都不影响解析
消费者也是利用以上两个配置文件去实现即可。此处代码略
python-kafka实现produce与consumer的更多相关文章
- Python Kafka Client 性能测试
一.前言 由于工作原因使用到了 Kafka,而现有的代码并不能满足性能需求,所以需要开发高效读写 Kafka 的工具,本文是一个 Python Kafka Client 的性能测试记录,通过本次测试, ...
- python kafka client--confluent-kafka-python
项目中需要使用python 向Kafka生产和消费数据,最初使用pykafka .后来发现pykafka不支持client.id. 最后,终于找到confluent-kafka. python kaf ...
- .net Kafka.Client多个Consumer Group对Topic消费不能完全覆盖研究总结(二)
依据Partition和Consumer的Rebalance策略,找到Kafka.Client Rebalance代码块,还原本地环境,跟踪调试,发现自定义Consumer Group 的Consum ...
- Kafka客户端Producer与Consumer
Kafka客户端Producer与Consumer 一.pom.xml 二.相关配置文件 producer.properties log4j.properties base.properties 三. ...
- ReferenceError: weakly-referenced object no longer exists Python kafka
Python存入kafka报错,ReferenceError: weakly-referenced object no longer exists. Exception in thread 14: p ...
- SpringBoot整合kafka(实现producer和consumer)
本文代码使用的是Spring Boot 2.1.8.RELEASE 版本 <parent> <groupId>org.springframework.boot</grou ...
- Kafka的Producer和Consumer源码学习
先解释下两个概念: high watermark (HW) 它表示已经被commited的最后一个message offset(所谓commited, 应该是ISR中所有replica都已写入),HW ...
- Kafka的Producer以及Consumer远程调用问题
公司需要分布式的JMS,所以研究了Kafka,之前在本地都没有出现问题,但是在服务器上布Kafka的时候发现了消费者无法消费的问题. kafka布到一台服务器上面,由于业务原因,producer和ka ...
- 设计Kafka的High Level Consumer
原文:https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example 为什么使用High Level Consumer ...
随机推荐
- shiro笔记-AuthenticatingRealm和AuthorizingRealm关系
AuthenticatingRealm-------->用于认证方法的Realm AuthorizingRealm--------->用于授权和认证的realm一般使用这个 Authori ...
- PHP秒杀系统全方位设计(一)
秒杀系统特点人多商品少时间短流量高外挂机器[黄牛和非黄牛] 技术分析瞬间高并发的处理能力多层次的分布式处理能力人机交互与对抗[12306验证码图片] 技术选型分析Linux+Nginx+PHP+Mys ...
- 在Ubuntu上安装PHPStudy组件
phpStudy for Linux (lnmp+lamp一键安装包) phpStudy Linux版&Win版同步上线 支持Apache/Nginx/Tengine/Lighttpd/IIS ...
- Egret学习笔记 (Egret打飞机-4.添加主角飞机和实现飞行效果)
今天继续写点击了开始之后,添加一个飞机到场景中,然后这个飞机的尾巴还在冒火的那种感觉 先拆解一下步骤 1.首先完成飞机容器的图片加载 2.然后把容器添加到场景中 3.然后实现动画 -首先,我们新建一个 ...
- spring oauth2 ,spring security整合oauth2.0 JdbcTokenStore实现 解决url-pattern .do .action
参考以下两个文章: http://www.cnblogs.com/0201zcr/p/5328847.html http://wwwcomy.iteye.com/blog/2230265 web.xm ...
- 【Unity3D】Unity3D 摄像机带透明截图
转载请注明出处:http://www.cnblogs.com/shamoyuu/p/CropCamera.html ↓↓↓下面的废话可以不看↓↓↓ 最近处理了一批我的游戏的图标,步骤特别繁琐, 需要先 ...
- windows2003服务器系统日志:查看电脑远程登录记录
控制面板>>管理工具>>事件查看器>>选择安全性再点工具栏目中查看>>筛选>>事件ID填528进行过滤,时间你看是多久,双击查看之后就可以找 ...
- dojo省份地市级联之地市Dao接口类(四)
dojo省份地市级联之地市Dao接口类 CityDao.java: /** * 地市 */ package com.you.dao; import java.util.List; import com ...
- SQL注入攻击三部曲之进阶篇
SQL注入攻击三部曲之进阶篇 通过入门篇的学习,我们知道了SQL注入攻击的判断方法,但是如果想侵入网站,获取网站的机密内容,那么仅靠入门篇的知识是无法达到的.本篇文章我们将进一步的分析SQL注入攻击. ...
- VxWorks下USB驱动总结1
1.USB设备 物理特征:4条电缆,电源线.地线.数据线.脉冲线; 速 度:低速1.5Mbps,全速12Mbps,高速480Mbps; 规范版本:1998年USB1.1,2000年USB2.0; 连 ...