Apache Kafka监控之Kafka Web Console

Kafka Web Console：是一款开源的系统，源码的地址在https://github.com/claudemamo/kafka-web-console中。Kafka Web Console也是用Scala语言编写的Java web程序用于监控Apache Kafka。这个系统的功能和KafkaOffsetMonitor很类似，但是我们从源码角度来看，这款系统实现比KafkaOffsetMonitor要复杂很多，而且编译配置比KafkaOffsetMonitor较麻烦。
　　要想运行这套系统我们需要的先行条件为：

1. Play Framework 2.2.x
2. Apache Kafka 0.8.x
3. Zookeeper 3.3.3 or 3.3.4

　　同样，我们从https://github.com/claudemamo/kafka-web-console上面将源码下载下来，然后用sbt进行编译，在编译前我们需要做如下的修改：
　　1、Kafka Web Console默认用的数据库是H2，它支持以下几种数据库：

1. H2 (default)
2. PostgreSql
3. Oracle
4. DB2
5. MySQL
6. ApacheDerby
7. Microsoft SQL Server

为了方便，我们可以使用Mysql数据库，只要做如下修改即可，找到 conf/application.conf文件，并修改如下

1. #############################################################################
2. User:过往记忆
3. Date:14-08-08
4. Time:11:37
5. bolg: https://www.iteblog.com
6. 本文地址：https://www.iteblog.com/archives/1084
7. 过往记忆博客，专注于hadoop、hive、spark、shark、flume的技术博客，大量的干货
8. 过往记忆博客微信公共帐号：iteblog_hadoop
9. #############################################################################
10. 将这个
11. db.default.driver=org.h2.Driver
12. db.default.url="jdbc:h2:file:play"
13. # db.default.user=sa
14. # db.default.password=""
15. 修改成
16. db.default.driver=com.mysql.jdbc.Driver
17. db.default.url="jdbc:mysql://localhost:3306/test"
18. db.default.user=root
19. db.default.pass=123456

我们还需要修改build.sbt，加入对Mysql的依赖:

1. "mysql"%"mysql-connector-java"%"5.1.31"

 

　修改后的bulid.sbt ：

1. name := "kafka-web-console"
2. version := "2.1.0-SNAPSHOT"
3. libraryDependencies ++= Seq(
4. jdbc,
5. cache,
6. "org.squeryl" % "squeryl_2.10" % "0.9.5-6",
7. "com.twitter" % "util-zk_2.10" % "6.11.0",
8. "com.twitter" % "finagle-core_2.10" % "6.15.0",
9. "org.quartz-scheduler" % "quartz" % "2.2.1",
10. "org.apache.kafka" % "kafka_2.10" % "0.8.1.1",
11. "mysql" % "mysql-connector-java" % "5.1.31"
12. exclude("javax.jms", "jms")
13. exclude("com.sun.jdmk", "jmxtools")
14. exclude("com.sun.jmx", "jmxri")
15. )
16. play.Project.playScalaSettings

　2、执行conf/evolutions/default/bak目录下面的1.sql、2.sql和3.sql三个文件。需要注意的是，这三个sql文件不能直接运行，有语法错误，需要做一些修改。

修改后的1.sql ：

1. CREATE TABLE zookeepers (
2. name VARCHAR(100),
3. host VARCHAR(100),
4. port INT(100),
5. statusId INT(100),
6. groupId INT(100),
7. PRIMARY KEY (name)
8. );
9. CREATE TABLE groups (
10. id INT(100),
11. name VARCHAR(100),
12. PRIMARY KEY (id)
13. );
14. CREATE TABLE status (
15. id INT(100),
16. name VARCHAR(100),
17. PRIMARY KEY (id)
18. );
19. INSERT INTO groups (id, name) VALUES (0, 'ALL');
20. INSERT INTO groups (id, name) VALUES (1, 'DEVELOPMENT');
21. INSERT INTO groups (id, name) VALUES (2, 'PRODUCTION');
22. INSERT INTO groups (id, name) VALUES (3, 'STAGING');
23. INSERT INTO groups (id, name) VALUES (4, 'TEST');
24. INSERT INTO status (id, name) VALUES (0, 'CONNECTING');
25. INSERT INTO status (id, name) VALUES (1, 'CONNECTED');
26. INSERT INTO status (id, name) VALUES (2, 'DISCONNECTED');
27. INSERT INTO status (id, name) VALUES (3, 'DELETED');

修改后的2.sql  :

1. ALTER TABLE zookeepers ADD COLUMN chroot VARCHAR(100);

修改后的3.sql ：

1. ALTER TABLE zookeepers DROP PRIMARY KEY;
2. ALTER TABLE zookeepers ADD COLUMN id int(100) NOT NULL AUTO_INCREMENT PRIMARY KEY;
3. ALTER TABLE zookeepers MODIFY COLUMN name VARCHAR(100) NOT NULL;
4. ALTER TABLE zookeepers MODIFY COLUMN host VARCHAR(100) NOT NULL;
5. ALTER TABLE zookeepers MODIFY COLUMN port INT(100)  NOT NULL;
6. ALTER TABLE zookeepers MODIFY COLUMN  statusId INT(100)  NOT NULL;
7. ALTER TABLE zookeepers MODIFY COLUMN groupId INT(100)  NOT NULL;
8. ALTER TABLE zookeepers ADD UNIQUE (name);
9. CREATE TABLE offsetHistory (
10. id int(100) AUTO_INCREMENT PRIMARY KEY,
11. zookeeperId int(100),
12. topic VARCHAR(255),
13. FOREIGN KEY (zookeeperId) REFERENCES zookeepers(id),
14. UNIQUE (zookeeperId, topic)
15. );
16. CREATE TABLE offsetPoints (
17. id int(100) AUTO_INCREMENT PRIMARY KEY,
18. consumerGroup VARCHAR(255),
19. timestamp TIMESTAMP,
20. offsetHistoryId int(100),
21. partition int(100),
22. offset int(100),
23. logSize int(100),
24. FOREIGN KEY (offsetHistoryId) REFERENCES offsetHistory(id)
25. );
26. CREATE TABLE settings (
27. key_ VARCHAR(255) PRIMARY KEY,
28. value VARCHAR(255)
29. );
30. INSERT INTO settings (key_, value) VALUES ('PURGE_SCHEDULE', '0 0 0 ? * SUN *');
31. INSERT INTO settings (key_, value) VALUES ('OFFSET_FETCH_INTERVAL', '30');

project/build.properties的

sbt.version=0.13.0 要修改实际的sbt版本，比如我用的是sbt.version=0.13.15
上面的注意事项弄完之后，我们就可以编译下载过来的源码：

# sbt package

　　编译的过程比较慢，有些依赖包下载速度非常地慢，请耐心等待。

　　在编译的过程中，可能会出现有些依赖包无法下载，如下错误：

1. [warn]modulenot found: com.typesafe.play#sbt-plugin;2.2.1
2. [warn]==== typesafe-ivy-releases: tried
3. [warn] http://repo.typesafe.com/typesafe/ivy-releases/
4. com.typesafe.play/sbt-plugin/scala_2.9.2/sbt_0.12/2.2.1/ivys/ivy.xml
5. [warn]==== sbt-plugin-releases: tried
6. [warn] http://scalasbt.artifactoryonline.com/scalasbt/sbt-plugin-releases/
7. com.typesafe.play/sbt-plugin/scala_2.9.2/sbt_0.12/2.2.1/ivys/ivy.xml
8. [warn]====local: tried
9. [warn]/home/iteblog/.ivy2/local/com.typesafe.play/
10. sbt-plugin/scala_2.9.2/sbt_0.12/2.2.1/ivys/ivy.xml
11. [warn]====Typesafe repository: tried
12. [warn] http://repo.typesafe.com/typesafe/releases/com/
13. typesafe/play/sbt-plugin_2.9.2_0.12/2.2.1/sbt-plugin-2.2.1.pom
14. [warn]====public: tried
15. [warn] http://repo1.maven.org/maven2/com/typesafe/play/
16. sbt-plugin_2.9.2_0.12/2.2.1/sbt-plugin-2.2.1.pom
17. [warn]::::::::::::::::::::::::::::::::::::::::::::::
18. ====local: tried
19. /home/iteblog/.ivy2/local/org.scala-sbt/collections/0.13.0/jars/collections.jar
20. ::::::::::::::::::::::::::::::::::::::::::::::
21. :: FAILED DOWNLOADS ::
22. ::^ see resolution messages for details ^::
23. ::::::::::::::::::::::::::::::::::::::::::::::
24. :: org.scala-sbt#collections;0.13.0!collections.jar
25. ::::::::::::::::::::::::::::::::::::::::::::::

　　我们可以手动地下载相关依赖，并放到类似/home/iteblog/.ivy2/local/org.scala-sbt/collections/0.13.0/jars/目录下面。然后再编译就可以了。

启动的时候需要把.sql文件删除掉，否则会报错。

http://localhost:9000

最后，我们可以通过下面命令启动Kafka Web Console监控系统：

# sbt run

并可以在http://localhost:9000查看。下面是一张效果图

1. Before you can monitor a broker, you need to register the Zookeeper server associated with it:

Kafka Web Console

Kafka Web Console is a Java web application for monitoring Apache
Kafka. With a modern web
browser, you can view from the console:

• Registered brokers

---

• Topics, partitions, log sizes, and partition leaders

---

• Consumer groups, individual consumers, consumer owners, partition offsets and lag

---

• Graphs showing consumer offset and lag history as well as consumer/producer message throughput history.

---

• Latest published topic messages (requires web browser support for WebSocket)

---

Furthermore, the console provides a JSON API described in RAML.
The API can be tested using the embedded API Console accessible through the URL http://[hostname]:[port]/api/console.

Requirements

• Play Framework 2.2.x
• Apache Kafka 0.8.x
• Zookeeper 3.3.3 or 3.3.4

Deployment

Consult Play!'s documentation for deployment
options and instructions.

Getting
Started

1. Kafka Web Console requires a relational database. By default, the server connects to an embedded H2 database and no database installation or configuration is needed. Consult Play!'s documentation to specify
   a database for the console. The following databases are supported:

   • H2 (default)
   • PostgreSql
   • Oracle
   • DB2
   • MySQL
   • Apache Derby
   • Microsoft SQL Server

   Changing the database might necessitate making minor modifications to the DDL to
   accommodate the new database.

2. Before you can monitor a broker, you need to register the Zookeeper server associated with it:

Filling in the form and clicking on Connect will
register the Zookeeper server. Once the console has successfully established a connection with the registered Zookeeper server, it can retrieve all necessary information about brokers, topics, and consumers: