初涉kafka
前言:
今天终于搭建成功kafka环境,并创建了第一个topic,并生产、消费消息,如下图:
消费:
心情真的是好激动,大家都说搭建环境其实特别简单,但是我的学习却一直卡在搭建环境上面,不是虚拟机起不来,就是找不到地方下载安装文件,,,真不知道是我任通二脉未开,还是天生没有慧根。
从事了三年java开发,linux安装jdk还是需要找运维同事帮忙……说来惭愧呀!!!
最近组织学习kafka,已经学习了两周时间,这是第三周,自己摸索着搭建kafka,嗯。。。已经做好了遇到各种问题的心理准备,,,果然很久没有的虚拟机网卡出现了问题,花了一天的时间整网卡,集群完毕;下载zookeeper并安装,嗯(之前有安装过,还好,没遇到问题),安装kafka,启动……报错。。。jdk需要8,我的是7,不是是不是虚拟机版本问题,ubuntu14,怎么也安装不了openjdk8,最高只有7,好吧,,,从官网下载linux的jdk8.。。。下载竟然要登录,,,注册账号收不到邮件……坑。。。又过了一天,,,第二天再试,注册成功,登录报错,,,网上说有跳过登录下载,打死都找不到。。。尝试n遍放弃。。。从csdn下载。。。下载券都好多,有甚者要50个下载劵,而我兜里只有4个,,,贫穷的我,找了半天终于找到了个
只要1个的,下载完毕,照教程安装jdk,,,从未安装有些惧怕。。。果然各种环境配置问题~/.bashrc ~/.profile /etc/profile 三个文件,两个用户,5个配置,一个4台linux服务器组成的集群,,,搞了半天才搞清楚,重要学会了配置jdk,然后时间不早了,尝试启动kafka失败。。。算了,明天再说吧。 今天启动虚拟机。。。发现我的一些配置没有了。。。之前安装操作,配置了zookeeper的data、日志、myid在/tmp目录下,今天重启,干干净净。。。重新配置,这次配置在安装目录一起,,,然后配置启动,更改kafka日志路径,更改kafka配置文件。启动!!!重要启动成功。无比开心,无比激动!!!!以此记录以作纪念。
初涉kafka的更多相关文章
- Spark踩坑记——Spark Streaming+Kafka
[TOC] 前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了spark strea ...
- 消息队列 Kafka 的基本知识及 .NET Core 客户端
前言 最新项目中要用到消息队列来做消息的传输,之所以选着 Kafka 是因为要配合其他 java 项目中,所以就对 Kafka 了解了一下,也算是做个笔记吧. 本篇不谈论 Kafka 和其他的一些消息 ...
- kafka学习笔记:知识点整理
一.为什么需要消息系统 1.解耦: 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束. 2.冗余: 消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险. ...
- .net windows Kafka 安装与使用入门(入门笔记)
完整解决方案请参考: Setting Up and Running Apache Kafka on Windows OS 在环境搭建过程中遇到两个问题,在这里先列出来,以方便查询: 1. \Jav ...
- kafka配置与使用实例
kafka作为消息队列,在与netty.多线程配合使用时,可以达到高效的消息队列
- kafka源码分析之一server启动分析
0. 关键概念 关键概念 Concepts Function Topic 用于划分Message的逻辑概念,一个Topic可以分布在多个Broker上. Partition 是Kafka中横向扩展和一 ...
- Kafka副本管理—— 为何去掉replica.lag.max.messages参数
今天查看Kafka 0.10.0的官方文档,发现了这样一句话:Configuration parameter replica.lag.max.messages was removed. Partiti ...
- Kafka:主要参数详解(转)
原文地址:http://kafka.apache.org/documentation.html ############################# System ############### ...
- kafka
2016-11-13 20:48:43 简单说明什么是kafka? Apache kafka是消息中间件的一种,我发现很多人不知道消息中间件是什么,在开始学习之前,我这边就先简单的解释一下什么是消息 ...
随机推荐
- objectMaaper 反序列化json字段多于或少于实体处理
两种方式 1 忽略json上未知的字段 设置实体类注解 @JsonIgnoreProperties(ignoreUnknown = true) public class Foo { ... } 2 配 ...
- mysql 乐观锁、悲观锁、共享锁,排它锁
mysql锁机制分为表级锁和行级锁,本文就和大家分享一下我对mysql中行级锁中的共享锁与排他锁进行分享交流. 共享锁又称为读锁,简称S锁,顾名思义,共享锁就是多个事务对于同一数据可以共享一把锁,都能 ...
- 破坏双亲委托机制的一些情况---Tomcat和JDBC,破坏后的安全问题
采用双亲委托机制的原因 类加载器就是将字节码搬进jvm方法区的组件.我们知道,JVM识别加载进来的类是通过类加载器+类全名完成的,也就是说同一个类由不同类加载器加载进去的话就会被视为不同的类.jdk提 ...
- Linux必备软件安装
若想Linux体验感更强,安装linux著名的KDE界面 (里面可以配置很多个性化的界面,特效等) # apt install plasma-desktop mpv ---很炫酷的视频播放器okula ...
- Baltic2014 sequence
问题描述 输入格式 输出格式 一个整数R 样例输入 7 9 4 8 20 14 15 18 样例输出 13 数据范围 所求的Z序列为6,7,8,13,14,15,18. R=13 解析&左偏树 ...
- php array_sum()函数 语法
php array_sum()函数 语法 作用:返回数组中所有值的和.大理石构件价格 语法:array_sum(arra) 参数: 参数 描述 array 必需.规定数组. 说明:如果所有值都是整数 ...
- php array_intersect()函数 语法
php array_intersect()函数 语法 作用:用于比较两个(或更多个)数组的键值,并返回交集.直线电机生产厂家 语法:array_intersect(array1,array2,arra ...
- LintCode之在O(1)时间复杂度删除链表
题目描述: 分析:因为题目要求不能用循环,而且只给了要删除的节点,并没有给链表.所以我无法取得要删除节点的前一个节点,只能在待删除的节点以及下一个节点上做文章.我的思路是:将待删除的节点的下一个节点的 ...
- Cef 重写alert与confirm弹窗
在使用form内嵌cef浏览本地页面的时候,如果出现alert弹窗,会在标题栏显示页面所在目录.所以想起来重写alert的样式,通过MessageBox进行提示,或者自己写一个弹窗. 以下代码基于 3 ...
- 使用rdb文件进行redis数据迁移--python脚本
查找了一些redis迁移的方法,一般做法就是 1. 从源数据库把rdb文件保存,然后传到新的主机上,启动新的redis即可 2. 把新的redis当做源数据库的slave,同步数据 今天开发提了一个测 ...