话说用了就要有点产出,要不然过段时间又忘了,所以在这里就记录一下试用Kafka的安装过程和php扩展的试用. 实话说,如果用于队列的话,跟PHP比较配的,还是Redis.用的顺手,呵呵,只是Redis不能有多个consumer.但Kafka官方对PHP不支持,PHP扩展是爱好者或使用者写的.下面就开始讲Kafka的安装吧.我以CentOS6.4为例,64位. 一. 首先确认下jdk有没有安装 使用命令 [root@localhost ~]# java -version java version…

我们使用官方推荐 php kafka 扩展 phpkafka,由于该扩展是基于 librdkafka 开发,所以我们首先需要安装 librdkafka 下载地址:http://kafka.apache.org/downloads PHP 扩展:https://github.com/arnaud-lb/php-rdkafka 1.解压 librdkafka,执行 linux 下安装三部曲:./configure --> make --> make install ,此时在 /usr/local/…

Storm上游数据源之Kakfa 目标: 理解Storm消费的数据来源.理解JMS规范.理解Kafka核心组件.掌握Kakfa生产者API.掌握Kafka消费者API.对流式计算的生态环境有深入的了解,具备流式计算项目架构的能力. 大纲: 1.  kafka是什么? 2.  JMS规范是什么? 3.  为什么需要消息队列? 4.  Kafka核心组件 5.  Kafka安装部署 6.  Kafka生产者Java API 7.  Kafka消费者Java API 内容 1.Kafka是什么 在流式…

kafka安装和启动 kafka的背景知识已经讲了很多了,让我们现在开始实践吧,假设你现在没有Kafka和ZooKeeper环境. Step 1: 下载代码 下载0.10.0.0版本并且解压它. > tar -xzf kafka_2.11-0.10.0.0.tgz > cd kafka_2.11-0.10.0.0 Step 2: 启动服务 运行kafka需要使用Zookeeper,所以你需要先启动Zookeeper,如果你没有Zookeeper,你可以使用kafka自带打包和配置好的Zooke…

一.ELK 背景 通常,日志被分散的储存不同的设备上.如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志.这样是不是感觉很繁琐和效率低下.当务之急我们使用集中化的日志管理,例如:ELK中的logstash,将所有服务器上的日志收集汇总. 集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep.awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询.排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心,这里我们使用ELK中…

1.安装JAVA #下载安装包 https://www.oracle.com/technetwork/java/javase/downloads/index.html tar -xzvf jdk-8u211-linux-x64.tar.gz vim /etc/profile export JAVA_HOME=/www/softs/jdk1.8 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HO…

什么是Kafka? Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写.Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据. Kafka基本概念 Broker:物理概念,Kafka集群中的每个Kafka节点: Topic:逻辑概念,Kafka消息的类别,对数据进行区分.隔离: Partition:物理概念,Kafka下数据存储的基本单元.一个Topic数据,会被分散存储到多个Partition,每一个Partiti…

一.安装kafka(单机版) 因为现在的kafka安装包都自带zookeeper,所以如果是安装本地单机版kafka,不需要额外去安装zookeeper,使用自带的就可以了. 1.下载kafka 2.4版本 kafka下载地址:http://kafka.apache.org/downloads.html # wget https://mirror.bit.edu.cn/apache/kafka/2.4.1/kafka_2.12-2.4.1.tgz # tar xf kafka_2.12-2.4.…

完整解决方案请参考: Setting Up and Running Apache Kafka on Windows OS   在环境搭建过程中遇到两个问题,在这里先列出来,以方便查询: 1. \Java\jre7\lib\ext\QTJava.zip was unexpected at this time. Process exited 解决方案: 1.1 右键点击"我的电脑" -> "高级系统设置" -> "环境变量" 1.2 查看…

一.下载kafka: http://kafka.apache.org/downloads 二.解压 tar -zxvf kafka_2.10-0.10.0.1.tgz 三.kafka需要用到zookeeper,可以是单节点,也可以是zk集群. (1).单节点zk kafka本身自带了一个测试zk,可以使用kafka自带的zk节点来测试. 1.启动单节点zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 2.启动k…