目录 Kafka 概念.单机搭建与使用 基本概念介绍 Topic Producer Consumer Kafka单机配置,一个Broker 环境: 配置zookeeper 配置Kafka 使用Kafka 一些需要注意的问题 Kafka 概念.单机搭建与使用 官方网址:Apache Kafka® is a distributed streaming platform 基本概念介绍 在Kafka中有一些基本的概念, Topic 简介:Topic在Kafka中是一个抽象的概念,一个主题是已经发布的记录…

版本号: RedHat6.5   JDK1.8    flume-1.6.0   kafka_2.11-0.8.2.1 1.flume安装 RedHat6.5安装单机flume1.6:http://blog.leanote.com/post/2630794313@qq.com/26781d33b435 2.kafka安装 RedHat6.5安装kafka集群 : http://blog.leanote.com/post/2630794313@qq.com/0230848f841a 3.Flume…

环境准备: ubuntu 开发环境: jdk 1.8 scala:2.11.0 spark 2.0 zookeeper 3.4.6 kafka  2.12-0.10.2.0 开始整合: 1 zookeeper的安装,这里我使用的zookeeper版本为3.4.6 a, 下载zookeeper安装包zookeeper-3.4.6.tar.gz   b, 解压安装文件到/usr/local/ 这是我的安装目录,具体可根据自己的情况而定: sudo tar -zxvf zookeeper-3.4.6.…

Linux Hadoop2.7.3 安装(单机模式) 一 Linux Hadoop2.7.3 安装(单机模式) 二 java环境安装 http://www.cnblogs.com/zeze/p/5902124.html java 环境安装配置 etc/profile: export JAVA_HOME=/usr/jdk/jdk1..0_112 export JRE_HOME=/usr/jdk/jdk1..0_112/jre export CLASSPATH=.:$JAVA_HOME/lib/dt…

Linux Hadoop2.7.3 安装(单机模式) 一 Linux Hadoop2.7.3 安装(单机模式) 二 YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster. 其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理. 创建一个words.txt…

1.简介 大数据分析处理平台包括数据的接入,数据的存储,数据的处理,以及后面的展示或者应用.今天我们连说一下数据的接入,数据的接入目前比较普遍的是采用kafka将前面的数据通过消息的方式,以数据流的形式将数据接入到大数据存储平台. 下面主要介绍一下kafka的安装和部署的过程.由于公司采用的是cloudera公司的产品,所以直接通过cloudera manager来安装部署kafka.只不过在安装的过程中,注意几个问题即可: (1)存放kafka的log文件的位置 默认是/var/log/kaf…

kafka的安装 kafka依赖于ZooKeeper,所以在运行kafka之前需要先部署ZooKeeper集群,ZooKeeper集群部署方式分为两种,一种是单独部署(推荐),另外一种是使用kafka自带的. 这里我们默认已经部署好了ZooKeeper集群 下载kafka(3台服务器) cd /usr/local/src wget http://apache.opencas.org/kafka/2.1.0/kafka_2.11-2.1.0.tgz tar -zxvf kafka_2.11-2.1…

kafka manager安装配置和使用 .安装yum源 curl https://bintray.com/sbt/rpm/rpm | sudo tee /etc/yum.repos.d/bintray-sbt-rpm.repo yum install -y sbt .构建kafka manager包 方法1 git直接clone [root@u04ck04 manager_kafka]# git clone https://github.com/yahoo/kafka-manager.git…

Kafka 的简介: Kafka 是一款分布式消息发布和订阅系统,具有高性能.高吞吐量的特点而被广泛应用与大数据传输场景.它是由 LinkedIn 公司开发,使用 Scala 语言编写,之后成为 Apache 基金会的一个顶级项目.kafka 提供了类似 JMS 的特性,但是在设计和实现上是完全不同的,而且他也不是 JMS 规范的实现. kafka 产生的背景: kafka 作为一个消息系统,早起设计的目的是用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(P…

一.下载 下载地址: http://kafka.apache.org/downloads.html http://mirrors.hust.edu.cn/apache/ 二.安装前提(zookeeper安装) 参考http://www.cnblogs.com/qingyunzong/p/8634335.html#_label4_0 三.安装 此处使用版本为kafka_2.11-0.8.2.0.tgz 2.1 上传解压缩 [hadoop@hadoop1 ~]$ tar -zxvf kafka_2.…