本文主要讲述的是如何搭建Kafka的源码环境,主要针对的Linux操作系统下IntelliJ IDEA编译器,其余操作系统或者IDE可以类推. 1.安装和配置JDK确认JDK版本至少为1.7,最好是1.8及以上.使用java -version命令来查看当前JDK的版本,示例如下: lenmom@M1701:~/workspace/software/hadoop-/bin$ java -version java version "1.8.0_191" Java(TM) SE Runtim…

github地址:https://github.com/apache/kafka clone下来之后可以看到这样的项目结构: 文件目录说明. 目录 描述 bin Windows 和 Linux 下 Kafka 相关操作的脚本,包括启动和关闭 KafkaServer.创建 topic.分区管理.模拟生产者和消费者基本操作的脚本等 clients Kafka客户端,包括 Kafka Producer 和 KafkaConsumer,Java语言开发 config Kafka运行相关配置文件,如 se…

kafka源码环境搭建好之后,需要在IntelliJ IDEA开发工具中以debug方式启动kafka服务器来测试消息的生产和消费. 但是在启动kafka.Kafka类中的main方法(也就是运行 kafka-0.10.0.1-src\core\src\main\scala\kafka\Kafka.scala 类中的main方法)的时候遇到一个错误,错误信息的截图如下: Error:scalac: Output path D:\kafka-0.10.0.1-src\build is shared…

于kafka核心原理的资料,网上有很多,但是如果不自己研究其源码,永远是知其然而不知所以然.下面就来演示如何在windows环境下来编译kafka源码,并通过IntelliJ IDEA开发工具搭建kafka的源码环境,以方便在本地通过debug调试来研究kafka的内部实现机制. 具体步骤: (1)安装jdk,版本为1.8.0_131,配置JAVA_HOME: (2)安装scala,版本为 2.10.6,配置SCALA_HOME: (3)安装Gradle,版本为 3.1,配置GRADLE_HOM…

前文阅读: [ZooKeeper系列]1.ZooKeeper单机版.伪集群和集群环境搭建 [ZooKeeper系列]2.用Java实现ZooKeeper API的调用 在系列的前两篇文章中,介绍了ZooKeeper环境的搭建(包括单机版.伪集群和集群),对创建.删除.修改节点等场景用命令行的方式进行了测试,让大家对ZooKeeper环境搭建及常用命令行有初步的认识,也为搭建ZooKeeper的开发环境.生产环境起到了抛砖引玉的作用.也介绍了用Java来实现API的调用,包括节点的增.删.改.查.…

之前研究mybatis都是参考前面学习的人的一些经验,并没有自己搭建源码环境进行.现在以mybatis3.4.6版本搭建,搭建过程中各种failed,下面大致记录环境搭建过程. 1.mybatis3.4.6使用maven管理,改项目依赖父项目: 所以先git clone 这个父项目:git clone https://github.com/mybatis/parent.git 2.在parent目录下mvn clean install,该项目会自动下载安装到本地仓库. 3.再到mybatis源码…

目录 一.LAMP环境的介绍     1.LAMP环境的重要性     2.LAMP组件介绍 二.Apache源码安装     1.下载Apache以及相关依赖包     2.安装Apache以及相关依赖包         2-1.安装Apache依赖包         2-2.安装apr         2-3.安装apr-util         2-4.安装pcre         2-5.安装Apache     3.配置Apache         3-1.启动Apache服务    …

最近在跟着一个大佬学习Hadoop底层源码及架构等知识点,觉得有必要记录下来这个学习过程.想到了这个废弃已久的blog账号,决定重新开始更新. 主要分以下几步来进行源码学习: 一.搭建源码阅读环境二.源码项目结构概览及hdfs源码包结构简介三.NameNode介绍 第一步,搭建源码阅读环境. 把Hadoop源码包导入到开发工具,eclipse或者idea都行.这里我的环境是mac os,使用的工具是idea,Hadoop版本为2.6.5. 首先,解压缩Hadoop源码包,可以选择移动解压之后的源…

平时项目中基本上都会用到spring,但是源码还没有深入的了解过.趁这段时间稍微空闲点,开始研究下spring 源码.下面是spring 源码的环境搭建. 主要分为如下步骤: ①安装jdk,gradle,git ②从GitHub下载spring framework 代码 ③编译导入ide中. 第一步安装过程略过. jdk安装成功后通过java -v 输出: gradle 安装整个后通过输入gradle -verson 由于我是之前安装过所以版本要老一些. 以及git 以上第一步已经完成了. 第二…

ring 源码阅读的搭建(一) 一 下载spring源码 进入官方网页:https://spring.io/projects/spring-framework 进入相关的github位置,下载zip包 解压: 二 安装Gradle 下载Gradle: 进入下载页面:https://gradle.org/releases/ 配置环境变量: 解压到制定目录下 配置项: GRADLE_HOME: C:\Program Files\gradle-4.10.2 Path中添加:%GRADLE_HOME%\…