Kafka笔记--参数说明及Demo

参考资料:http://blog.csdn.net/honglei915/article/details/37563647参数说明:http://ju.outofmemory.cn/entry/119243参数说明/Demo:http://www.aboutyun.com/thread-9906-1-1.htmlKafka+Spark: http://shiyanjun.cn/archives/1097.htmlhttp://ju.outofmemory.cn/entry/84636 1. K…

Kafka笔记整理（三）：消费形式验证与性能测试

Kafka消费形式验证前面的<Kafka笔记整理(一)>中有提到消费者的消费形式,说明如下: .每个consumer属于一个consumer group,可以指定组id.group.id .消费形式: 组内:组内的消费者消费同一份数据:同时只能有一个consumer消费一个Topic中的1个partition: 一个consumer可以消费多个partitions中的消息.所以,对于一个topic,同一个group中推荐不能有多于 partitions个数的consumer同时消费,否则将意…

springboot + kafka 入门实例入门demo

springboot + kafka 入门实例入门demo 版本说明 springboot版本:2.3.3.RELEASE kakfa服务端版本:kafka_2.12-2.6.0.tgz zookeeper服务端版本:apache-zookeeper-3.6.1-bin.tar.gz 实例搭建前提条件 1,搭建好zookeeper服务,本实例zookeeper使用单机伪集群模式, 192.168.1.126:2181, 192.168.1.126:2182, 192.168.1.126:218…

Kafka笔记--分布式环境搭建

部署: http://www.cnblogs.com/likehua/p/3999538.html http://blog.csdn.net/kimmking/article/details/8263057 http://my.oschina.net/ielts0909/blog/93190Demo: http://blog.csdn.net/honglei915/article/details/37563647 1)下载kafka0.8(http://kafka.apache.org/down…

dubbo入门学习笔记之入门demo(基于普通maven项目)

注:本笔记接dubbo入门学习笔记之环境准备继续记录; (四)开发服务提供者和消费者并让他们在启动时分别向注册中心注册和订阅服务需求:订单服务中初始化订单功能需要调用用户服务的获取用户信息的接口(订单服务与用户服务分别部署在不同的服务器) 思路:1.基于官网的dubbo服务化最佳实践,我们开发一个入门级demo可以先开发一个公共的接口层,然后服务提供者和服务消费者分别引用该接口的依赖 2.本例中我们需要新建一个公共接口层的maven项目pub-interfence,定义查询用户信息的接口和初始…

Kafka笔记整理（一）

Kafka简介消息队列(Message Queue) 消息 Message 网络中的两台计算机或者两个通讯设备之间传递的数据.例如说:文本.音乐.视频等内容. 队列 Queue 一种特殊的线性表(数据元素首尾相接),特殊之处在于只允许在首部删除元素和在尾部追加元素.入队.出队. 消息队列 MQ 消息+队列,保存消息的队列.消息的传输过程中的容器:主要提供生产.消费接口供外部调用做数据的存储和获取. MQ分类 MQ主要分为两类:点对点(p2p).发布订阅(Pub/Sub) 共同点: 消息生产者生…

Kafka配置参数说明

配置文件目录:/usr/local/kafka/config配置文件server.propertis参数说明:broker.id=0每一个broker在集群中的唯一标识,要求是正数,当该服务器的IP地址发生变化时,broker.id没有变化,则不会影响consumers的消息情况log.dirs=/usr/local/kafka/logskafka数据的存放地址,多个地址的话用逗号分隔/usr/local/kafka/log_1,/usr/local/kafka/log_2num.io.thre…

Kafka笔记—可靠性、幂等性和事务

这几天很忙,但是我现在给我的要求是一周至少要出一篇文章,所以先拿这篇笔记来做开胃菜,源码分析估计明后两天应该能写一篇.给自己加油~,即使没什么人看. 可靠性如何保证消息不丢失 Kafka只对"已提交"的消息(committed message)做有限度的持久化保证. 已提交的消息当Kafka的若干个Broker成功地接收到一条消息并写入到日志文件后,它们会告诉生产者程序这条消息已成功提交. 有限度的持久化保证假如一条消息保存在N个Kafka Broker上,那么至少这N个Brok…

《Kafka笔记》2、环境搭建、Topic管理

目录一.Kafka环境搭建和Topic管理 1 单机环境搭建 1.1 环境准备 1.1.1 JDK 安装 1.1.2 配置主机名和ip 1.1.3 关闭防火墙和防火墙开机自启动 1.1.4 zookeeper下载安装 1.1.5 kafka下载安装 2 集群环境搭建 2.1 安装JDK 2.2 配置每台机器的配置 2.3 关闭三台机器的防火墙 2.4 配置集群网络时钟同步 2.5 zookeeper集群安装和搭建 3.6 集群安装Kafka 3 集群环境下topic管理概览 1.创建topic…

knockout学习笔记10：demo

前面已经介绍了ko的基本用法,结合官方文档,基本就可以实际应用了.本章作为ko学习的最后一篇,实现一个简单的demo.主要集中在ko,所以后台数据都是静态的.类似于博园,有一个个人文章的分类列表,一个文章列表.可以在文章最后下载工程源代码(包括之前demo的代码).实现效果图如下: 一.准备数据分类信息Kind: public class Kind { public string Url { get; set; } public string Name { get; set; } public…

Kafka笔记

最近做的一个项目需要跟Kafka打交道,学习了很多相关知识,就到这里来汇总一下. kafka是一个传递消息的系统,原本是用来快速记录海量log的,现在也经常用作消息队列.它主要由三个部分组成,producer,broker以及consumer.producer发布消息,broker存储消息,consumer接收消息. 发布消息的时候,producer会把它发送到broker的某一个topic上.每条消息都只属于一个topic,而一个topic会有一个或多个partition.那一条消息属于这个t…

斯坦福iOS7公开课11笔记及演示Demo&访问HTTPS链接下载数据

这一节主要介绍UITableView以及iPad,Demo为从Flicker下载图片并显示,但是实际过程中发现需要FQ并使用HTTPS连接,所以这次用了两个Demo,一个是课程中的Demo,另一个是简化的. 最后调试过程中还找到Xcode中观察变量的一个小技巧. 1.UITableView UITableView是iOS中最常用的表视图,通讯录中的联系人.手机设置里的每一个选项都是表视图中的一个单元格cell,微信.微博每一条记录其实也是一个cell,只不过是组成要素更多一些而已. (1)两个重…

斯坦福iOS7公开课10笔记及演示Demo

这一节主要介绍了多线程中的串行队列以及滚动视图UIScrollView. 1 .多线程这一节只是简单介绍了多线程的串行队列,即把任务加入线程队列后按顺序逐步执行. (1)目前iOS多线程提供的方法主要是GCD和NSOperation,前者是C语言级别的,后者是经过封装,更具有面向对象特性的API. (2)UI交互操作都是在主线程进行,所以为了保证交互过程的流程舒适,类似于下载等耗时操作就需要主线程外执行,否则将出现用户无法对手机进行操作的场景. 这时通过多线程,就可以使下载图片等耗时操作单独进…

斯坦福iOS7公开课7-9笔记及演示Demo

这一部分主要介绍了iOS的绘图.手势.协议.block.力学特效动画(包括重力.碰撞.吸附等)以及自动布局的内容. 1.绘图.手势 (1)调用一个自定义的UIView时,可以使用awakeFromNib方法做一些初始化工作. (2)iOS中绘图需要了解的常用测量单位: CGFloat:浮点值,与float一样: CGPoint.CGSize.CGRect是三个结构体分别代表游XY坐标描述的店.宽度高度描述的大小值以及由原点坐标.宽度高度描述的矩形,度量单位都是CGFloat. (3)自定义的UI…

斯坦福iOS7公开课4-6笔记及演示Demo

1.变量类型别滥用id,如果不仔细容易在程序执行时引发错误,因为在编译阶段编译器只是检测变量对象所属类型,尤其是类型为id时代表任何类型都可以通过检查,但不会检测变量对象调用的方法,这样当对象所属类不包含所写的调用方法时,编译通过,但在程序运行时才会报错. 2.简单介绍了框架自带的集合.字体等. 3.通过使用NSAttributedString可以让屏幕显示的字体样式更丰富,设置各种样式等,详细参见附件的演示Demo:http://files.cnblogs.com/colinhou/Attri…

斯坦福iOS7公开课1-3笔记及纸牌Demo

1.MVC Model:模型描述程序是什么,例如数据库操作之类的行文以及纸牌Demo里纸牌玩法都是写在Model这一层,通过Notification和KVO(后续文章会介绍)两种方式与Controller通讯. Controller:控制层程序的逻辑在这里组织,Controller负责Model与View之间的沟通,因为Model与View老死不相往来. 当用户在页面进行操作后,Controller收集用户发出的交互信息,然后请教Model如何应对,Model收到Controller提出的问…

JFinal使用笔记1-部署demo项目到本地tomcat

http://my.oschina.net/u/173975/blog/110261 尝试用JFinal开发个开源的社团管理系统,把开发过程中遇到的问题和解决办法记下来,以供参考. 部署jfinal_demo_for_jsp到tomcat上问题1.css, js文件加载失败.原因:路径问题解决办法:1.将“/css/manage.css”等类似的路径改为"css/manage.css",去掉最前面的“/”,不在根路径下的要改成形如"../css/manage.css&quo…

【我们都爱Paul Hegarty】斯坦福IOS8公开课个人笔记19 为Demo添加手势

在这一话中我们将应用上一话学到的知识来为Demo添加手势识别,首先添加一个缩放的功能,其次添加一个拖动功能,使得小人的表情可以随着我们的手指改变. 首先来添加一个缩放手势的识别器,我们来到FaceView的代码中,之前定义了一个属性scal用来表示表情的缩放比例,现在我需要一个非私有的方法来修改这个值: func scale(gesture:UIPinchGestureRecognizer){ if gesture.state == .Changed { scal *= gesture.scal…

kafka笔记-Kafka在zookeeper中的存储结构【转】

参考链接:apache kafka系列之在zookeeper中存储结构 http://blog.csdn.net/lizhitao/article/details/23744675 1.topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 Schema: { "version": "版本编号目前固定为数字1", "partitions": { …

Kafka笔记--指定消息的partition规则

参数的设定:参考资料不错的资料:http://blog.csdn.net/honglei915/article/details/37697655 http://developer.51cto.com/art/201501/464491.htm 注意:在配置文件server.properties中指定了partition的数量num.partitions.这指的是多单个topic的partition数量之和.若有多个broker,可能partition分布在不同的节点上,则多个broker的所有…

Kafka笔记--监控系统KafkaOffsetMonitor

KafkaOffsetMonitor下载链接: http://download.csdn.net/detail/changong28/7930337github官方:https://github.com/quantifind/KafkaOffsetMonitor/ https://github.com/quantifind/KafkaOffsetMonitor/releases/tag/v0.2.1安装部署: http://www.cnblogs.com/Leo_wl/p/4564699.h…

Kafka笔记--使用ubuntu为bocker(服务器)windows做producer和comsumer(客户端)

原文连接:http://www.cnblogs.com/davidwang456/p/4201875.html 程序仍然使用之前的一篇博文中的例子 :http://www.cnblogs.com/gnivor/p/4934265.html 这里是将producer和consumer与bocker分离如何搭建Kafka集群见: http://www.cnblogs.com/gnivor/p/4934073.html 注意:不同的地方需要改动config文件夹下的server.propertie…

Kafka笔记——技术点汇总

Table of contents Table of contents Overview Introduction Use cases Manual setup Assumption Configuration Startup & test Principle Topic Distribution Producer Consumer Operation Adding topics Modifying topics Removing a topic Graceful shutdown Balanc…