Apache Flink Quickstart

Apache Flink 是新一代的基于 Kappa 架构的流处理框架，近期底层部署结构基于 FLIP-6 做了大规模的调整，我们来看一下在新的版本（1.6-SNAPSHOT）下怎样从源码快速编译执行 Flink 样例。

环境要求

• Mac OS X 10.12.6
• Java 8 （特别注意 Java 9 和 10 还不支持，会出现奇怪的 Failure）
• Maven 3.5.3 （Maven 在较新版本也有较大的变动，最好确保版本匹配）

下载并编译 Flink

我们打算从源码直接编译最新的 SNAPSHOT 版本的 Flink，从 GitHub 上抓取代码仓库。

$ git clone https://github.com/apache/flink

切换到文件夹内并使用 Maven 构建，注意由于 maven-shade-plugin 的问题，在上面给定版本的环境下需要两步构建。

$ cd flink
$ mvn clean install -DskipTests
$ cd flink-dist
$ mvn clean install

这个过程可能需要花点时间，如果相关的包之前没有下载过，可能需要小几十分钟。下载完成后，进入 build-target 目录，这个实际上是 Flink 发布版 Binary 将会包含的内容，我们在该目录下实践简单的样例。

开启本地的 Flink 集群

在 build-target 目录下执行以下命令以开启一个本地的 Flink 集群，注意早前版本的 start-local.sh 已经废弃，不再产生了。

$ bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host localhost.
Starting taskexecutor daemon on host localhost.

在浏览器中打开地址 http://localhost:8081/#/overview 可以看到 Flink 集群的概览页面，这类似于 Apache Hadoop 采取的 Dashboard 方案。

执行流处理的样例

这里我们选择 SocketWindowWordCount.jar 作为流处理的样例来测试。

顾名思义，这个例程的功能是连接一个 Socket，接受它发来的信息，并对其中的单词进行单词计数。

我们先使用 netcat 程序打开监听本地（localhost）9000 端口的服务。

$ nc -l 9000

再启动 Flink 例程。

$ bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000
Starting execution of program

回到 netcat 的窗口，输入一段文本，比如

$ nc -l 9000
There is more than one way to do it.
Do what I mean.
Life is short. I use Python.
^C

最后的 ^C 表示按下 ctrl-c 断开 netcat。现在，我们可以在 build-target/log 目录下找到相应的 .out 文件，记录着刚才单词计数的结果。

$ cat log/flink-*-taskexecutor-*.out
There : 1
it. : 1
do : 1
to : 1
way : 1
one : 1
than : 1
more : 1
is : 1
Do : 1
mean. : 1
I : 1
what : 1
There : 1
it. : 1
do : 1
to : 1
way : 1
one : 1
than : 1
more : 1
is : 1
Do : 1
mean. : 1
I : 1
what : 1
Life : 1
Python. : 1
use : 1
I : 1
short. : 1
is : 1

注意这里两次出现的 I 被统计了两个一次，这是因为原程序以 5 秒钟为窗口处理数据。如果你的输入速度较快，那么两个 I 可能被统计在一起，如果你在输入后过早按下 ^C，那么可能就有数据没被统计。

执行批处理的样例

Flink 通过对抽象上无限的流数据人为的划定界限来支持批处理。这里我们同样选择单词计数程序 WordCount.jar 来作为批处理的样例。

首先是保证你已经按上面提到的步骤正确开启了一个本地的 Flink 集群，这一次我们直接执行对应的程序。

$ bin/flink run ./examples/batch/WordCount.jar --input NOTICE
Starting execution of program
Printing result to stdout. Use --output to specify output path.
(2009,1)
(2012,1)
(2014,1)
(2015,2)
(2018,1)
(a,1)
(and,5)
(apache,5)
(ashkenas,1)
(at,1)
(based,1)
(code,1)
...
(the,7)
(their,2)
(these,1)
(this,1)
(to,1)
(underscore,1)
(underscorejs,1)
(use,1)
(with,1)
(www,1)
(your,1)
Program execution finished
Job with JobID 5af6875fe52a171a5c5de528d8dde4c9 has finished.
Job Runtime: 720 ms
Accumulator Results:
- 89f67bbe6783a9bfe37ba2a22b126422 (java.util.ArrayList) [60 elements]

中间的 ... 为省略的部分输出，这里的输入文件 NOTICE 是构建 Flink 后必定在目录 build-target 下的。可以看到，用 Flink 来执行批处理任务操作起来也十分轻松写意。

结语

首先不要忘记关掉打开的 Flink 集群（笑）。

$ bin/stop-cluster.sh

这篇文章的主要目的是介绍 Flink 的基础用法。我个人的学习经验是，无论学习的主题，其全体多么的宏伟，其深处多么的有趣，但是如果作为初学者一开始就撞上艰深晦涩的部分，那么大部分的潜在受众可能就会生出畏惧之心，进而跑路了。所以我在这里避开代码不谈，仅仅展示 Flink 如何实践大数据背景下的 HelloWorld 程序，即 WordCount 例程，希望能藉此引发各位 Flink 潜在受众的兴趣，更深入的了解这个超越了 Apache Storm 的，基于 Kappa 架构的，高速发展的新生代流处理框架。

最后附上 Apache Flink 的 GitHub 地址和 ASF JIRA 地址。