Kafka 文档用例
1.2 用例
以下是一些Kafka 常见的用例。关于功能方面的一些概念,可以看这篇博客:http://engineering.linkedin.com/distributed-systems/log-what-every-software-engineer-should-know-about-real-time-datas-unifying。
消息
Kafka 可以很好的替代传统的消息代理。消息代理的使用有很多原因。(将数据发布解耦,缓存未处理消息等等)。相比于大多数消息系统,Kafka 有更大的吞吐量,内置分区,备份容错,这些特点使它可以很好处理大量消息请求。
在应用体验中,我们会经常遇到相对不高的吞吐量需求,但需要很低的端到端延迟并且需要依赖Kafka持久化的情况。
在这个领域中,Kafka相当于传统的消息系统,比如ActiveMQ 或 RabbitMQ。
网站活动跟踪
Kafka 最早是提供一套实时发布订阅被用来重绘用户活动跟踪线路。网站的活动(页面展示,搜索,用户其他可能的活动)根据活动类型被转发给对应主题。为包括实时处理、实时监控和为离线处理和报表装载Hadoop或离线数据仓库的用例提供有效的支持。
活动跟踪是每个用户页面的活动信息聚集合成的。
评审
Kafka经常被用于运行监控数据。这涉及从分布式应用到生产数据的汇总统计过程中的运行数据的支持。
日志聚集
Kafka经常被用来作为日志聚集的替代解决方案。日志聚集通常收集服务器上的日志文件放到一个集中的位置(一种文件系统比如HDFS)处理。 Kafka提取日志文件中的明细并返回清洗过的日志概要或流形式的事件数据信息。这样就可以提高处理速度同时对多数据源和分布式消费的支持更容易。相比集中式日志系统,如Scribe 或 Flume,Kafka 提供了相对更好的性能,较低的端到端延迟以及通过多备份保证了更健壮的持久化。
流处理
很多用户喜欢分阶段处理数据从原始数据主题中被消费经过汇总,加工或其他转化方式进一步消费到新主题的过程。例如一个文章推荐的处理流程会从RSS订阅抓取文章内容并发布给一个文章主题;然后经过有助于格式化或去重的处理后加入到一个文章清理的主题;最后阶段推送给匹配的用户。通过这些可以组成一个来至于各个主题的实时数据流程图。 这类转换框架中比较常见的有Storm 和 Samza。
事件持久化
事件持久化是一种将状态变化按时间顺序序列化记录存储的应用设计方式。Kafka 对巨大数据存储的支持可以支撑起建立在事件持久化方式上的优秀应用后端。
提交日志
Kafka 可以作为分布式系统的外部日志提交服务。日志可以用来进行多节点间数据备份和重新同步以恢复失败节点的数据。这种场景下 Kafka 支持日志压缩。在这种场景下Kafka 和Apache BookKeeper项目类似。
Kafka 文档用例的更多相关文章
- Kafka 文档引言
原文地址:https://kafka.apache.org/documentation.html#semantics 1.开始 1.1 引言 Kafka是一个分布式,分区队列,冗余备份的消息存储服务. ...
- MicroPython最全资料集锦丨TPYBoard全系列教程之文档+例程源码
MicroPython成功将Python引入到嵌入式领域,近几年MicroPython的发展和普及也证明,Python无疑将在未来几年内快速抢占和蚕食C/C++的份额.包括现在比较火爆的机器人.无人机 ...
- 以黄门镇黄湾村某一扶贫文档为例——将Excel数据填入到已存在的Word模板
傻瓜可以写出机器读得懂代码,但写出让人能读懂的代码的是优秀程序员 作用:通过Excel文件中的一列数据作为文件名创建Word文档,并将Excel中的一行数据填一表,实现自动化 Excel的VBA宏代码 ...
- 如何为Dash/Zeal生成c++ 文档: 以abseil文档为例
目录 1. 软件安装 2 Sample源文件下载: 3. 生成步骤 3.1 使用doxygen生成html文件 3.2 使用docsetutil 生成 dash/Zeal 格式 1. 软件安装: 1. ...
- kafka文档(转)
来自:http://www.inter12.org/archives/842 一 BROKER 的全局配置 最为核心的三个配置 broker.id.log.dir.zookeeper.connect ...
- pytest文档16-用例a失败,跳过测试用例b和c并标记失败xfail
前言 当用例a失败的时候,如果用例b和用例c都是依赖于第一个用例的结果,那可以直接跳过用例b和c的测试,直接给他标记失败xfail 用到的场景,登录是第一个用例,登录之后的操作b是第二个用例,登录之后 ...
- pytest文档2-用例运行规则
用例设计原则 文件名以test_*.py文件和*_test.py 以test_开头的函数 以Test开头的类 以test_开头的方法 所有的包pakege必须要有__init__.py文件 help帮 ...
- unittest,selenium——批量,多线程执行多文档用例
之前做过批量执行多.py文件,为了省时也做过单py文件多线程,现在做多py文件用例多线程 # coding:utf-8import unittestimport osimport timeimport ...
- pytest文档2-用例执行
用例设计原则 1.文件名以test_******.py文件和*******_test.py 2.以test_****开头的函数 3.以Test***开头的类 4.以test_*****开头的方法 5. ...
随机推荐
- GreenDao 数据库:使用Raw文件夹下的数据库文件以及数据库升级
一.使用Raw文件夹下的数据库文件 在使用GreenDao框架时,数据库和数据表都是根据生成的框架代码来自动创建的,从生成的DaoMaster中的OpenHelper类可以看出: public sta ...
- TODO:Laravel 使用blade标签布局页面
TODO:Laravel 使用blade标签布局页面 本文主要介绍Laravel的标签使用,统一布局页面.主要用到到标签有@yield,@ stack,@extends,@section,@stop, ...
- 多线程的通信和同步(Java并发编程的艺术--笔记)
1. 线程间的通信机制 线程之间通信机制有两种: 共享内存.消息传递. 2. Java并发 Java的并发采用的是共享内存模型,Java线程之间的通信总是隐式执行,通信的过程对于程序员来说是完全透 ...
- Partition:分区切换(Switch)
在SQL Server中,对超级大表做数据归档,使用select和delete命令是十分耗费CPU时间和Disk空间的,SQL Server必须记录相应数量的事务日志,而使用switch操作归档分区表 ...
- Java 字符串格式化详解
Java 字符串格式化详解 版权声明:本文为博主原创文章,未经博主允许不得转载. 微博:厉圣杰 文中如有纰漏,欢迎大家留言指出. 在 Java 的 String 类中,可以使用 format() 方法 ...
- 阿里云服务器上配置并使用: PHP + Redis + Mysql 从配置到使用
(原创出处为本博客,http://www.cnblogs.com/linguanh/) 目录: 一,下载 二,解压 三,配置与启动 四,测试 Redis 五,配置 phpRedis 扩展 六,综合测试 ...
- [BootStrap] 富编辑器,基于wysihtml5
在我的周围,已经有很多人在使用BootStrap,但对于任何一个带留言.评论.提问.文章编辑功的网站,编辑器永远是重中之重,显然,早期的编辑器完全没考虑过BootStrap的出现,或皮肤跟网站不匹配, ...
- javascript动画系列第二篇——磁性吸附
× 目录 [1]范围限定 [2]拖拽范围 [3]磁性吸附 前面的话 上一篇,我们介绍了元素拖拽的实现.但在实际应用中,常常需要为拖拽的元素限定范围.而通过限定范围,再增加一些辅助的措施,就可以实现磁性 ...
- android 事件分发机制详解(OnTouchListener,OnClick)
昨天做东西做到触摸事件冲突,以前也经常碰到事件冲突,想到要研究一下Android的事件冲突机制,于是从昨天开始到今天整整一天时间都要了解这方面的知识,这才懂了安卓的触摸和点击事件的机制.探究如下: 首 ...
- Spring(三)__aop编程
aop( aspect oriented programming ) 面向切面编程,是对所有对象或者是一类对象编程 几个重要的概念: 1.切面(aspect):要实现的交叉功能,是系统模块化的一个切面 ...