Kafka系列二之部署与使用

Kafka部署与使用写在前面从上一篇Kafka的架构介绍和安装中,可能,你还一直很蒙,kafka到底该怎么使用呢?接下来,我们就来介绍Kafka的部署与使用.上篇文章中我们说到,Kafka的几个重要组成是:1.producer 2.consumer 3.broker 4.topic .因此我们就是围绕这几个组件来使用我们的Kafka. 如何开始呢? 我们查看官网上面是如何说的,http://kafka.apache.org/quickstart. 接着,第二步,我们启动了一个kafka的se…

Windows Azure入门教学系列 (二)：部署第一个Web Role程序

本文是Windows Azure入门教学的第二篇文章. 在第一篇教学中,我们已经创建了第一个Web Role程序.在这篇教学中,我们将学习如何把该Web Role程序部署到云端. 注意:您需要购买Windows Azure Platform 服务才能继续本教学.您可以通过点击https://mocp.microsoftonline.com/Site/Support.aspx页面上的联系我们的支持团队来获得购买服务的具体步骤或询问其他有关购买,收费的问题. 在开始本教学之前,请确保你从Windo…

kafka系列二、kafka manager的安装和使用

1. Yahoo kafka manager介绍项目地址:https://github.com/yahoo/kafka-manager Requirements: Kafka 0.8.1.1 or 0.8.2.* sbt 0.13.x Java 8+ Kafka Manager是一个管控台,这款工具主要支持以下几个功能: 管理多个不同的集群: 很容易地检查集群的状态(topics, brokers, 副本的分布, 分区的分布): 选择副本: 产生分区分配(Generate partition…

kafka系列二：多节点分布式集群搭建

上一篇分享了单节点伪分布式集群搭建方法,本篇来分享一下多节点分布式集群搭建方法.多节点分布式集群结构如下图所示: 为了方便查阅,本篇将和上一篇一样从零开始一步一步进行集群搭建. 一.安装Jdk 具体安装步骤可参考 linux安装jdk. 二.安装与配置zookeeper 下载地址:https://www-us.apache.org/dist/zookeeper/stable/ 下载二进制压缩包 zookeeper-3.4.14.tar.gz,然后上传到linux服务器指定目录下,本次上传目录为 …

Kafka系列(二)特性和常用命令

Kafka中Replicas复制备份机制 kafka将每个partition数据复制到多个server上,任何一个partition有一个leader和多个follower(可以没有),备份的个数可以通过broker配置文件来设定(replication-factor的参数配置指定).leader处理所有的read-write请求,follower需要和leader保持同步.Follower和consumer一样,消费消息并保存在本地日志中,leader负责跟踪所有的follower状态,如果f…

Kafka系列二 kafka相关问题理解

1.kafka是什么类JMS消息队列,结合JMS中的两种模式,可以有多个消费者主动拉取数据,在JMS中只有点对点模式才有消费者主动拉取数据. kafka是一个生产-消费模型. producer:生产者,只负责数据生产,生产者的代码可以集成到任何系统中.数据的分发策略由producer决定,默认是Defaultpartition Utils.abs(key.hashCode)%numPartitions. Broker:当前服务器上的kafka进程,俗称拉皮条.只管数据存储,不管是谁消费.在集群…

Apache Kafka系列(二) 命令行工具（CLI）

Apache Kafka命令行工具(Command Line Interface,CLI),下文简称CLI. 1. 启动Kafka 启动Kafka需要两步: 1.1. 启动ZooKeeper [root@Server1 kafka_2.-0.11.0.0]# bin/zookeeper-server-start.sh config/zookeeper.properties 1.2. 启动Kafka Server [root@Server1 kafka_2.-0.11.0.0]# bin/kafk…

Kafka系列一之架构介绍和安装

Kafka架构介绍和安装写在前面还是那句话,当你学习一个新的东西之前,你总得知道这个东西是什么?这个东西可以用来做什么?然后你才会去学习它,使用它.简单来说,kafka既是一个消息队列,如今,它也演变为一个分布式的流处理平台,这一点就是很厉害的了.所以,学习kafka对于大数据的小伙伴们来说,是非常有益的. (一)Kafka概述 1.Kafka是一个分布式的流处理平台,有消息的订阅系统(订阅之后,一旦有新的消息产生,你就会收到消息),可以以多副本的方式进行存储,可以构建实时数据管道,以及实时…

ASP.NET Core部署系列二：发布到CentOS上

前言: 在上一节中,通过一系列的步骤,已经将项目部署到IIS上,虽然遇到了一些问题,但最终解决并成功运行了.而在这一节中,将尝试通过linux系统的环境下,部署项目,实现Net Core跨平台的亮点. 虽然网上已经有很多关于asp.net core在linux下的部署教程了,但我还是想写一篇,主要增强我自己的记忆,同时分享下我部署遇到的坑. 我在我电脑win7的操作系统中用来虚拟机建了个CentOS7,来演示,我们的项目如何发布在Linux上运行. 开始: 一.安装.Dotnet Core 2.…

Kafka系列1：Kafka概况

Kafka系列1:Kafka概况 Kafka是当前分布式系统中最流行的消息中间件之一,凭借着其高吞吐量的设计,在日志收集系统和消息系统的应用场景中深得开发者喜爱.本篇就聊聊Kafka相关的一些知识点.主要包括以下内容: Kafka简介 Kafka特点 Kafka基本概念 Kafka架构 Kafka的几个核心概念分区Partition 复制Replication 消息发送消费者组消费偏移量 Kafka的工程应用 Kafka简介 Kafka特点 Kafka是最初由Linkedin公司开发,是一…

kafka——集群安裝部署(自带zookeeper)

kafka系列文章第一章 linux单机安装kafka 第二章 kafka--集群安裝部署(自带zookeeper) 一.kafka简介 kafka官网:http://kafka.apache.org/ kafka下载页面:http://kafka.apache.org/downloads kafka配置快速入门:http://kafka.apache.org/quickstart 新版本的kafka自带有zookeeper,本篇文章记录使用自带zookeeper搭建kafka集群. 为了实现…

[知识库分享系列] 二、.NET（ASP.NET）

最近时间又有了新的想法,当我用新的眼光在整理一些很老的知识库时,发现很多东西都已经过时,或者是很基础很零碎的知识点.如果分享出去大家不看倒好,更担心的是会误人子弟,但为了保证此系列的完整,还是选择分享出去,毕竟也是自己的成长过程,各取所好吧! 在分享知识库节点时,我会写清楚此知识库节点的入手级别,请大家根据需要下载,免得不必要的吐嘈.但我确定总有子节点对你有用,并且相信接下来的分享会更精彩,不了解前文请请移步:[知识库分享系列] 一.开篇此篇文章是个提醒,文章内容本身没有什么技术含量,发到园子…

C#制作Windows service服务系列二:演示一个定期执行的windows服务及调试（windows service）

系列一: 制作一个可安装.可启动.可停止.可卸载的Windows service(downmoon原创) 系列二:演示一个定期执行的windows服务及调试(windows service)(downmoon) 系列三: windows service系列三--制作可控制界面的windows service 一.经常有人问起如何让程序定期自动执行? 除了像系统任务和SQL JOB/DTS等都可以满足不同的用户需求外,这里演示了如何做一个简单的windows serivce的框架.主要的功能是按照…

[知识库分享系列] 二、Web（高性能Web站点建设）

知识库分享系列: [知识库分享系列] 二..NET(ASP.NET) [知识库分享系列] 一.开篇分享介绍此知识库之所以为 Web 系列,因为和 .NET 没有完全的关系,其中的技术和实践实用于各种平台,大家掌握后灵活运用即可! 本知识库主要包含以下重点: 概念普及:HTTP.CDN等前端优化:减少HTTP请求.压缩.样式表和JS的优化.客户端缓存等缓存优化:从客户端.浏览器.服务器端多方面总结缓存使用技术负载均衡:几种常见的方案工具使用:调试器.性能分析.资源压缩等解决方案技术…

Kafka系列之-Kafka Protocol实例分析

本文基于A Guide To The Kafka Protocol文档,以及Spark Streaming中实现的org.apache.spark.streaming.kafka.KafkaCluster类.整理出Kafka中有关 Metadata API Produce API Fetch API Offset API(Aka ListOffset) Offset Commit/Fetch API Group Membership API Administrative API 零.准备工作需…

Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用

KafkaOffsetMonitor是一个可以用于监控Kafka的Topic及Consumer消费状况的工具,其配置和使用特别的方便.源项目Github地址为:https://github.com/quantifind/KafkaOffsetMonitor. 最简单的使用方式是从Github上下载一个最新的KafkaOffsetMonitor-assembly-0.2.1.jar,上传到某服务器上,然后执行一句命令就可以运行起来.但是在使用过程中有可能会发现页面反应缓慢或者无法显示相应内容的情况…

Android高效率编码-第三方SDK详解系列(二)——Bmob后端云开发，实现登录注册，更改资料，修改密码，邮箱验证，上传，下载，推送消息，缩略图加载等功能

Android高效率编码-第三方SDK详解系列(二)--Bmob后端云开发,实现登录注册,更改资料,修改密码,邮箱验证,上传,下载,推送消息,缩略图加载等功能我的本意是第二篇写Mob的shareSDK分享组件的,奈何需要去注册各平台的账号,还要审核,有些审核还挺久,就没办法,改为写这个Bmob了,相信大家对Bmob都是挺期待的吧,因为他作为Android后端的实现很好的支持,国内很多软件都在使用它,他的功能也是特别神奇,这里就不一一细说了,我们用实际的例子来见证他的神奇官网:http://w…

ldap配置系列二：jenkins集成ldap

ldap配置系列二:jenkins集成ldap jenkins简介 jenkins是一个独立的.开放源码的自动化服务器,它可以用于自动化与构建.测试.交付或部署软件相关的各种任务. jenkins官方文档: https://jenkins.io/doc/ jenkins安装 jenkins下载地址: https://jenkins.io/download/ # jdk1.8下载 [root@VM_0_15_centos local]# wget http://download.linuxpand…

scrapy爬虫学习系列二：scrapy简单爬虫样例学习

系列文章列表: scrapy爬虫学习系列一:scrapy爬虫环境的准备: http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_007_scrapy01.html scrapy爬虫学习系列二:scrapy简单爬虫样例学习: http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_007_scrapy02.html scrapy爬虫学习系列三:scrapy部署到scrapyh…

Zookeeper+Kafka完全分布式实战部署

Zookeeper+Kafka完全分布式实战部署作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 其实我之前部署过kafak和zookeeper的完全分布式,集群是可以正常使用没错,但是在调优方案我做的很少,本次部署模拟我实际生成环境中的kafka版本zookeeper的一些调优措施,以及一些脚本管理等.部署集群需要你自行安装jdk,本篇博客就直接上干货了. 关于本篇博客的测试版本视频:链接:https://pan.baidu.com/s/1S3UqwTH05RKQOuQ9bw…

WCF开发实战系列二：使用IIS发布WCF服务

WCF开发实战系列二:使用IIS发布WCF服务 (原创:灰灰虫的家http://hi.baidu.com/grayworm) 上一篇中,我们创建了一个简单的WCF服务,在测试的时候,我们使用VS2008自带的WCFSVCHost(WCF服务主机)发布WCF服务,以便进行测试.这种VS2008内置的WCFSVCHost只适用于开发人员测试的使用,能进行WCF服务部署.这一篇文章中我们来看一下如何在IIS中部发布我们上一篇中做好的WCF服务. 第一步:打开我们上一篇文章中建立的WCF服务项目. 图<…

Hadoop生态圈-Kafka的完全分布式部署

Hadoop生态圈-Kafka的完全分布式部署作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客主要内容就是搭建Kafka完全分布式,它是在kafka本地模式(https://www.cnblogs.com/yinzhengjie/p/9209058.html)的基础之上进一步实现完全分布式搭建过程. 一.试验环境试验环境共计4台服务器 1>.管理服务器(s101) 2>.Kafka节点二(s102,已经部署好了zookeeper服务) 3>.Kafka节点三…

Hadoop生态圈-Kafka的本地模式部署

Hadoop生态圈-Kafka的本地模式部署作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Kafka简介 1>.什么是JMS 答:在Java中有一个角消息系统的东西,我们叫他Java Message Service,简称JMS.比如各种MQ. 2>.JMS的两种工作模式第一种模式:点到点(point to point,简称P2P),典型的一对一模式(一个人发送数据的同时只有一个人接收数据),也有人称之为端到端(peer to peer). 第二种模式:发布订阅模式(…

Kafka系列文章

Kafka系列文章 Kafka设计解析(一)- Kafka背景及架构介绍 Kafka设计解析(二)- Kafka High Availability (上) Kafka设计解析(三)- Kafka High Availability (下) Kafka设计解析(四)- Kafka Consumer设计解析 Kafka设计解析(五)- Kafka性能测试方法及Benchmark报告 Kafka设计解析(六)- Kafka高性能架构之道…

Hexo系列(二) 配置文件详解

Hexo 是一款优秀的博客框架,在使用 Hexo 搭建一个属于自己的博客网站后,我们还需要对其进行配置,使得 Hexo 更能满足自己的需求这里所说的配置文件,是位于站点根目录下的 _config.yml 文件,可以直接用记事本打开进行编辑,文件中的具体配置项如下: 1.Site 网站的个性化描述,大家需要根据自己的实际情况认真填写 Setting 描述 title 网站标题 subtitle 网站副标题 description 网站描述 keywords 网站关键字 author 网站作者 l…

SonarQube系列二、分析dotnet core/C#代码

[前言] 本系列主要讲述sonarqube的安装部署以及如何集成jenkins自动化分析.netcore项目.目录如下: SonarQube系列一.Linux安装与部署 SonarQube系列二.分析dotnet core/C#代码 SonarQube系列三.如何集成jenkins实现分析自动化 [实现功能] 这篇文章将要介绍的主要内容如下: sonarqube分析.netcore项目下的C#代码 sonarqube生成单元测试报告(代码覆盖率) [SonarQube分析C#代码] 1.sona…