【python】spark+kafka使用
网上用python写spark+kafka的资料好少啊 自己记录一点踩到的坑~
spark+kafka介绍的官方网址:http://spark.apache.org/docs/latest/streaming-kafka-0-8-integration.html
python的pyspark库函数文档:http://spark.apache.org/docs/latest/api/python/pyspark.streaming.html?highlight=kafkautils.createdirectstream#pyspark.streaming.kafka.KafkaUtils.createDirectStream
上面两个是最重要的资料,大多数问题可以通过仔细研读上面两个文档得到答案
官网上说了,spark和kafka连用有两种方式:接收器形式 以及 直连形式
一、 接收器形式
优点:支持kafka的group.id设置,支持用kafka api查询offset,如果数据断掉后,可以通过group.id轻松找到上一次失败的位置
缺点:
1.失败处理复杂。由于kafka队列信息由kafka自己记录,当spark消费了数据但是处理中出错时会导致数据丢失。为了避免数据丢失就必须开启Write Ahead Logs,把spark接收到的数据都存储到分布式文件系统中,比如HDFS,然后失败时从存储的记录中找到失败的消息。这导致同一批数据被kafka和spark存储了2次。造成数据冗余。
2.如果有多个地方都想获取同一个kafka队列的数据,必须建立多个流,无法用一个流并行处理。
该方法是比较老的一种方式,并不太被推荐。
二、直连形式
优点:
1. 不需两次存储数据,直连形式时,spark自己管理偏移信息,不再使用kafka的offset信息。所以spark可以自行处理失败情况,不要再次存储数据。spark保证数据传输时Exactly-once。
2.只需建立一个流就可以并行的在多个地方使用流中的数据
缺点:
不支持kafka的group,不支持通过kafka api查询offset信息!!!!
在连接后spark会根据fromOffsets参数设置起始offset,默认是从最新的数据开始的。也就是说,必须自己记录spark消耗的offset位置。否则在两次脚本启动中间的数据都会丢失。
我选用的是直连形式,我处理offset的方法是将spark消费的offset信息实时记录到文件中。在启动脚本时通过记录的文件来找到起始位置。
#!/usr/bin/python
# coding=utf-8
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
from pyspark.streaming.kafka import KafkaUtils, TopicAndPartition
import time
import os
import json
broker_list = "xxxx"
topic_name = "xxxx"
timer = 5
offsetRanges = [] def store_offset_ranges(rdd):
global offsetRanges
offsetRanges = rdd.offsetRanges()
return rdd def save_offset_ranges(rdd):
root_path = os.path.dirname(os.path.realpath(__file__))
record_path = os.path.join(root_path, "offset.txt")
data = dict()
f = open(record_path, "w")
for o in offsetRanges:
data = {"topic": o.topic, "partition": o.partition, "fromOffset": o.fromOffset, "untilOffset": o.untilOffset}
f.write(json.dumps(data))
f.close() def deal_data(rdd):
data = rdd.collect()
for d in data:
# do something
pass def save_by_spark_streaming():
root_path = os.path.dirname(os.path.realpath(__file__))
record_path = os.path.join(root_path, "offset.txt")
from_offsets = {}
# 获取已有的offset,没有记录文件时则用默认值即最大值
if os.path.exists(record_path):
f = open(record_path, "r")
offset_data = json.loads(f.read())
f.close()
if offset_data["topic"] != topic_name:
raise Exception("the topic name in offset.txt is incorrect") topic_partion = TopicAndPartition(offset_data["topic"], offset_data["partition"])
from_offsets = {topic_partion: long(offset_data["untilOffset"])} # 注意设置起始offset时的方法
print "start from offsets: %s" % from_offsets sc = SparkContext(appName="Realtime-Analytics-Engine")
ssc = StreamingContext(sc, int(timer)) kvs = KafkaUtils.createDirectStream(ssc=ssc, topics=[topic_name], fromOffsets=from_offsets,
kafkaParams={"metadata.broker.list": broker_list})
kvs.foreachRDD(lambda rec: deal_data(rec))
kvs.transform(store_offset_ranges).foreachRDD(save_offset_ranges) ssc.start()
ssc.awaitTermination()
ssc.stop() if __name__ == '__main__':
save_by_spark_streaming()
运行:
正常情况下,只要输入下面的语句就可以运行了
spark-submit --packages org.apache.spark:spark-streaming-kafka--8_2.:2.2. spark_kafka.py
然而,我的总是报错,找不到依赖包,说各种库不认识。所以我只好用--jars来手动指定包的位置了..................
spark-submit --packages org.apache.spark:spark-streaming-kafka--8_2.:2.2. --jars /root/.ivy2/jars/org.apache.kafka_kafka_2.-0.8.2.1.jar,/root/.ivy2/jars/com.yammer.metrics_metrics-core-2.2..jar spark_kafka.py
吐槽:
我就踩在直连形式不支持offset的坑上了..... 开始官方文档没仔细看,就瞄了一眼说是直连形式好,就豪不犹豫的用了。结果我的脚本不稳定,各种断,然后中间数据就各种丢啊.......
还有官网上居然完全没有对fromOffsets这个参数的说明,我找了好久好久才弄清楚这个参数怎么拼出来啊.................
【python】spark+kafka使用的更多相关文章
- 大数据Spark+Kafka实时数据分析案例
本案例利用Spark+Kafka实时分析男女生每秒购物人数,利用Spark Streaming实时处理用户购物日志,然后利用websocket将数据实时推送给浏览器,最后浏览器将接收到的数据实时展现, ...
- [Spark][kafka]kafka 生产者,消费者 互动例子
[Spark][kafka]kafka 生产者,消费者 互动例子 # pwd/usr/local/kafka_2.11-0.10.0.1/bin 创建topic:# ./kafka-topics.sh ...
- [Spark][Python]spark 从 avro 文件获取 Dataframe 的例子
[Spark][Python]spark 从 avro 文件获取 Dataframe 的例子 从如下地址获取文件: https://github.com/databricks/spark-avro/r ...
- [Spark][Python]Spark 访问 mysql , 生成 dataframe 的例子:
[Spark][Python]Spark 访问 mysql , 生成 dataframe 的例子: mydf001=sqlContext.read.format("jdbc").o ...
- Spark+Kafka的Direct方式将偏移量发送到Zookeeper实现(转)
原文链接:Spark+Kafka的Direct方式将偏移量发送到Zookeeper实现 Apache Spark 1.3.0引入了Direct API,利用Kafka的低层次API从Kafka集群中读 ...
- Mac下Python与Kafka的配合使用
安装并配置Kafka 安装 # brew install kafka 配置 """ zookeeper配置文件/usr/local/etc/kafka/zookeeper ...
- kfka学习笔记一:使用Python操作Kafka
1.准备工作 使用python操作kafka目前比较常用的库是kafka-python库,但是在安装这个库的时候需要依赖setuptools库和six库,下面就要分别来下载这几个库 https://p ...
- python访问kafka
操作系统 : CentOS7.3.1611_x64 Python 版本 : 3.6.8 kafka 版本 : 2.3.1 本文记录python访问kafka的简单使用,是入门教程,高阶读者请直接忽略. ...
- python调用kafka服务(使用kafka-python库)
试验环境: CDH 5.15.1 CentOS 7 Python 3.7.0 kafka 1.1.1 kafka-python :https://pypi.org/project/kafka-pyth ...
随机推荐
- sql server 2008 windows验证改混合登陆中SqlServer身份验证用户名密码
安装过程中,SQL Server 数据库引擎设置为 Windows 身份验证模式或 SQL Server 和 Windows 身份验证模式.本主题介绍如何在安装后更改安全模式. 如果在安装过程中选择“ ...
- lua 语法的使用总结
1.字符串连接 local tmp = "abc" local tmp1 = "ddd" tmp..tmp1 2. table 类型 就是关联数组 local ...
- npm 常用命令详解(转载)
学习gulp的使用时,对npm的掌握是必不可少的,经常到npm官网查询文档让我感到不爽,还不如整理了一些常用的命令博客上,于是根据自己的理解简单翻译过来,终于有点输出,想学习npm这块的朋友不可错过这 ...
- Redis 集群环境的搭建
下载与解压 [root@localhost ~]# cd /usr/temp/ [root@localhost temp]# wget http://download.redis.io/release ...
- Javascript - ExtJs - ToolTip组件
一个浮动的提示信息组件…… Ext, //可选 指定箭头的位置 anchor: 'buttom', ...
- shiro-redis实现session存储到redis
shiro-redis开源项目已经很好的将shiro与redis整合到一起,实现了将session存入redis,可以方便的用于session共享实现集群部署. git地址:https://githu ...
- CentOS7开启防火墙及特定端口
开启防火墙服务 以前为了方便,把防火墙都关闭了,因为现在项目都比较重要,害怕受到攻击,所以为了安全性,现在需要将防火墙开启,接下来介绍一下步骤. 1, 首先查看防火墙状态: firewall-cmd ...
- 【VMware vSphere】VMware vSphere简单了解
*什么是VMware vSphere 说VMware vSphere可能刚开始都是一脸懵逼,但是看到VMware时,首先想到的是不是VMware Workstation?也就是虚拟 ...
- 积分从入门到放弃<2>
这部分重新从定积分学了 1,lnx 的导数就是x^(-1) = 1/x 那么求∫(1/x)dx = ln|x|+C 2,初值问题.就是求∫f(x)dx = F(x) + C 求C . 3,Houdi ...
- Yara VS2017出现LINK : fatal error LNK1104: 无法打开文件“msvcrt.lib”
解决方法1 搜索msvcrt.lib所在的路径 C:\Program Files (x86)\Microsoft Visual Studio\2017\Professional\VC\Tools\MS ...