【Apache Kafka】二、Kafka安装及简单示例

【【Apache Kafka】二、Kafka安装及简单示例】的更多相关文章

Redis 安装与简单示例

Redis 安装与简单示例一.Redis的安装 Redis下载地址如下:https://github.com/dmajkic/redis/downloads 解压后根据自己机器的实际情况选择32位或者64位.下载解压后图片如下: redis-server.exe redis服务器的daemon启动程序 redis.conf redis配置文件 redis-cli.exe redis命令行操作工具.当然,也可以用telnet根据其纯文本协议来操作 redis-check-dump.exe 本地数…

【Apache Kafka】二、Kafka安装及简单示例

(一)Apache Kafka安装 1.安装环境与前提条件安装环境:Ubuntu16.04 前提条件: ubuntu系统下安装好jdk 1.8以上版本,正确配置环境变量 ubuntu系统下安装好scala 2.11版本安装ZooKeeper(注:kafka自带一个Zookeeper服务,如果不单独安装,也可以使用自带的ZK) 2.安装步骤 Apache基金会开源的这些软件基本上安装都比较方便,只需要下载.解压.配置环境变量三步即可完成,kafka也一样,官网选择对应版本下载后直接…

【Redis】三、Redis安装及简单示例

(四)Redis安装及使用 Redis的安装比较简单,仍然和大多数的Apache开源软件一样,只需要下载,解压,配置环境变量即可.具体安装过程参考:菜鸟教程Redis安装. 安装完成后,通过redis-server启动Redis服务器,在通过Redis-cli启动一个客户端就可以进行简单的测试. (五)Redis简单示例 Redis作为一个key-Value的开源数据库,我们在简介中提到它提供了多种语言的API.这里我们通过java和python给出使用其API的简单示例. 1.Re…

kafka集群安装及简单使用

关于kafka是什么及原理,请参考kafka官方文档的介绍:http://kafka.apache.org/documentation/#introduction ,英文不好的同学可以看这里http://ifeve.com/kafka-1/. kafka依赖于zookeeper才能运行,而zookeeper运行需要jdk的支持,所以我们需要在linux系统上先行安装jdk和zookeeper. 本人使用的centos7系统,安装步骤如下: 1.jdk安装: rpm -qa | grep jdk …

kafka可视化工具安装及简单使用

一.安装双击kafkatool_64bit.exe安装kafka可视化工具,并且C:\Windows\System32\drivers\etc配置HOSTS,打开HOSTS并添加: HOSTS添加: HOSTS添加的域名,是kafka安装服务器的IP 用户名,必要时登录linux服务器检查一下二.简单使用 1.在桌面找到Kafka Tool 2.0快捷图标,双击进入可视化工具 2.左上角File-Add New Connection...,添加链接 (1)File-Add New Conne…

Redis 安装与简单示例 01_转

一.Redis的安装 Redis下载地址如下:https://github.com/dmajkic/redis/downloads 解压后根据自己机器的实际情况选择32位或者64位.下载解压后图片如下: redis-server.exe redis服务器的daemon启动程序 redis.conf redis配置文件 redis-cli.exe redis命令行操作工具.当然,也可以用telnet根据其纯文本协议来操作 redis-check-dump.exe 本地数据库检查 redis-che…

Redis 安装与简单示例 <第一篇>

一.Redis的安装 Redis下载地址如下:https://github.com/dmajkic/redis/downloads 解压后根据自己机器的实际情况选择32位或者64位.下载解压后图片如下: redis-server.exe redis服务器的daemon启动程序 redis.conf redis配置文件 redis-cli.exe redis命令行操作工具.当然,也可以用telnet根据其纯文本协议来操作 redis-check-dump.exe 本地数据库检查 redis-che…

Redis 安装与简单示例 <第一篇>【转】

一.Redis的安装 Redis下载地址如下:https://github.com/dmajkic/redis/downloads 解压后根据自己机器的实际情况选择32位或者64位.下载解压后图片如下: redis-server.exe redis服务器的daemon启动程序 redis.conf redis配置文件 redis-cli.exe redis命令行操作工具.当然,也可以用telnet根据其纯文本协议来操作 redis-check-dump.exe 本地数据库检查 redis-che…

Redis 安装与简单示例（转）

本文转载自:http://www.cnblogs.com/kissdodog/p/3570984.html Redis的安装 Redis下载地址如下:https://github.com/dmajkic/redis/downloads 解压后根据自己机器的实际情况选择32位或者64位.下载解压后图片如下: redis-server.exe redis服务器的daemon启动程序 redis.conf redis配置文件 redis-cli.exe redis命令行操作工具.当然,也可以用teln…

maven 3.2.5 的安装及简单示例

http://www.mvnrepository.com 一直没有使用maven,它的作用就不说了,这二天需要用到,发现网上都是以前的版本,所以,我一边配置,一边记录. 一下载maven 现在很多IDE自带了maven,网上很多牛人都说最好别用,我也没有测试有什么不合适的,信春哥得永生吧,自己下载一个,官网地址:http://maven.apache.org/ 下个最新版本解压到想放置的目录,如:D:\developeTool\maven\apache-maven-3.2.5 二设置环境变…

Spark安装和简单示例

spark的安装先到官网下载安装包注意第二项要选择和自己hadoop版本相匹配的spark版本,然后在第4项点击下载.若无图形界面,可用windows系统下载完成后传送到centos中. 本例中安装文件的存放目录为:/home/demo/src 注:这里的demo为安装大数据系统工具的专用账号. 安装spark 解压压缩包 cd /home/demo/bd tar -zxf /home/demo/src/spark--bin-hadoop2..tgzmv ./spark-2.1.0-bin-…

初识Redis系列之二：安装及简单使用

仅介绍windows下的安装一:下载地址:https://github.com/MSOpenTech/redis/releases. Redis 支持 32 位和 64 位.这个需要根据你系统平台的实际情况选择,这里我们下载 Redis-x64-xxx.zip压缩包并解压. 这里我把文件夹重命名为redis,存放在C盘根目录,方便后面测试二:起一个服务端打开一个 cmd 窗口,使用cd命令切换目录到 C:\redis, 运行 redis-server.exe redis.windows.c…

Apache Flume的介绍安装及简单案例

概述 Flume 是一个高可用的,高可靠的,分布式的海量日志采集.聚合和传输的软件.Flume 的核心是把数据从数据源(source)收集过来,再将收集到的数据送到指定的目的地(sink).为了保证输送的过程一定成功,在送到目的地(sink)之前,会先缓存数据(channel),待数据真正到达目的地(sink)后,flume 在删除自己缓存的数据. Flume 支持定制各类数据发送方,用于收集各类型数据:同时,Flume 支持定制各种数据接受方,用于最终存储数据.一般的采集需求,通过对 flu…

google proto buffer安装和简单示例

1.安装下载google proto buff. 解压下载的包,并且阅读README.txt,根据里面的指引进行安装. $ ./configure $ make $ make check $ make install 没有意外的话,前面三步应该都能顺利完成,第四步的时候,需要root权限.我采用的默认的路径,所以,仅仅用root权限,还是安装不了,要自己先在/usr/local下新建一个lib的目录,然后执行make install,这样,应该就能顺利安装google proto buffer…

kafka环境安装及简单使用(单机版)

一个分布式发布-订阅消息传递系统特点: 高吞吐量.低延迟使用场景(举例): 日志收集:用kafka收集各种服务产生的log,通过kafka以统一的接口服务的方式开放给各种consumer,如hadoop,hbase等下载安装: 1.下载地址选择一个版本的kafka进行下载 2.解压 tar -zxvf kafka_2.-0.9.0.1.tgz mv kafka_2.-0.9.0.1 /opt/ 3.配置环境变量(可选步骤) 上手使用: 1.config目录配置文件(zookeeper…

Apache和mysql的安装设置

Apache和mysql的安装较简单,主要是安装前请保证80端口未被占用比如 iis 以前安装过的apache mysql 先停止运行phpmyadmin,主要是配置文件的问题,把phpMyAdmin安装目录下Libraries目录下面的Config.default.php复制到PHPmyAdmin根目录下,改名为Config.inc.php:用记事本打开Config.inc.php,把 "$cfg['blowfish_secret'] = '';" 改为 "$cfg['…

zookeeper+kafka集群安装之二

zookeeper+kafka集群安装之二此为上一篇文章的续篇, kafka安装需要依赖zookeeper, 本文与上一篇文章都是真正分布式安装配置, 可以直接用于生产环境. zookeeper安装参考: http://blog.csdn.net/ubuntu64fan/article/details/26678877 首先了解几个kafka中的概念: kafka是一个消息队列服务器,服务称为broker, 消息发送者称为producer, 消息接收者称为consumer; 通常我们部署多个b…

Kafka学习之二 Kafka安装和使用

部署环境Linux(Centos 6.5),JDK 1.8.0,zookeeper-3.4.12,kafka_2.11-2.0.0. 1. 单机环境官方建议使用JDK 1.8版本,因此本文使用的环境都是JDK1.8.如果小于1.8版本,请看我的博客:https://www.cnblogs.com/xuejiale/p/10504845.html 将环境的JDK更新到1.8版本.(PS:我开始使用机器默认安装的JDK 1.7,在启动kafka时会报错). 由于Kafka依赖zookeep…

kafka安装和简单测试

kafka安装和简单测试 # 安装zookeeper(apache-zookeeper-3.5.6-bin)https://archive.apache.org/dist/zookeeper/zookeeper-3.5.6/apache-zookeeper-3.5.6-bin.tar.gz # 安装kafka(kafka_2.11-2.3.1)http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.1/kafka_2.11-2.3.1.tgz #…

Kafka介绍及安装部署

本节内容: 消息中间件消息中间件特点消息中间件的传递模型 Kafka介绍安装部署Kafka集群安装Yahoo kafka manager kafka-manager添加kafka cluster 一.消息中间件消息中间件是在消息的传输过程中保存消息的容器.消息中间件在将消息从消息生产者到消费者时充当中间人的作用.队列的主要目的是提供路由并保证消息的传送:如果发送消息时接收者不可用,消息对列会保留消息,直到可以成功地传递它为止,当然,消息队列保存消息也是有期限的. 二.消息中间件特点 1…

Kafka在Windows安装运行

摘要:本文主要说明了如何在Windows安装运行Kafka 一.安装JDK 过程比较简单,这里不做说明. 最后打开cmd输入如下内容,表示安装成功二.安装zooeleeper 下载安装包:http://zookeeper.apache.org/releases.html#download 下载后解压到一个目录: 1.进入Zookeeper设置目录,笔者D:\Java\Tool\zookeeper-3.4.6\conf2. 将“zoo_sample.cfg”重命名为“zoo.cfg”3. 在任意…

java架构之路（MQ专题）kafka集群配置和简单使用

前面我们说了RabbitMQ和RocketMQ的安装和简单的使用,这次我们说一下Kafka的安装配置,后面我会用几个真实案例来说一下MQ的真实使用场景.天冷了,不愿意伸手,最近没怎么写博客了,还请见谅. 一.目标 1.知道什么是Kafka 2.懂得kafka的单机和集群安装配置 3.了解内部参数的简单配置二.Kafka简介 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写.Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动…

kafka 集群安装与安装测试

一.集群安装 1. Kafka下载:wget https://archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0.8.1.tgz 解压 tar zxvf kafka_2.9.2-0.8.1.tgz kafka使用scala编写,需要下载scala相关的库 2.下载安装sbt:wget http://repo.scala-sbt.org/scalasbt/sbt-native-packages/org/scala-sbt/sbt/0.13.1/sbt…

hadoop环境安装及简单Map-Reduce示例

说明:这篇博客来自我的csdn博客,http://blog.csdn.net/lxxgreat/article/details/7753511 一.参考书:<hadoop权威指南--第二版(中文)> 二.hadoop环境安装 1.安装sun-jdk1.6版本 1)目前我只在一台服务器(CentOS5.5)上搭建hadoop环境,因此先卸载已安装的java1.4版本卸载命令:yum -y remove java 2)下载sun-jdk1.6,地址:http://download.oracle.…

Kafka学习(一)配置及简单命令使用

一. Kafka中的相关概念的介绍 Kafka是一个scala实现的分布式消息中间件,当中涉及到的相关概念例如以下: Kafka中传递的内容称为message(消息),message 是通过topic(话题)进行分组的 topic 和message 的关系是一对多的关系我们称公布message的进程为producer ,就是说producer生成<topic->message>对然后丢进kafka集群相相应的称订阅topic处理相应message的进程为consumer Kafka…

Kafka简介、安装

一.Kafka简介 Kafka是一个分布式.可分区的.可复制的消息系统.几个基本的消息系统术语:1.消费者(Consumer):从消息队列(Kafka)中请求消息的客户端应用程序.2.生产者(Producer):向broker发布消息的应用程序.3.broker:Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker.4.主题(Topic):一个Topic中的消息数据按照多个分区组织,分区是Kafka消息队列组织的最小单位,一个分区可以看做是一个队列.producer…