3.2.0 版本预告！远程日志解决 Worker 故障获取不到日志的问题

Apache DolphinScheduler 3.2.0 版本已经呼之欲出，8 月中下旬，这个大版本就要和用户见面了。为了让大家提前了解到此版本更新的主要内容，我们已经制作了几期视频和内容做了大致介绍，包括《重磅预告！Apache DolphinScheduler 3.2.0 新功能“剧透”》、《3.2.0 版本预告！Apache DolphinScheduler API 增强相关功能》。

今天，我们来介绍另一个用户比较关心的新功能——Remote logging（远程日志），看看是否能帮助你的工作变得更简单吧！

https://www.bilibili.com/video/BV1U14y1q74N/?spm_id_from=333.999.0.0

今天由为大家介绍 Apache DolphinScheduler 3.2.0 的一个新特性，叫做 Remote logging。我们会从三个部分来说明这个功能，第一，它是什么，解决什么问题；第二，它如何配置；第三，我们怎么去使用它？

远程日志是什么？解决什么问题？

在没有这个功能之前，我们的任务日志流向是这样子的，任务运行完的时候，Worker 会将日志写到 Worker 本地，当用户需要去查看任务日志的时候，我们会发送请求这个 Worker 的日志，然后展示给用户。当一些意外情况出现，导致这个 Worker 的日志不存在，或者是这个 Worker 不存在的时候，用户在页面上就看不了日志了。

但是有了 Remote Logging，这个问题就能得到比较好的解决。它整体的流程如下所示：

我们只是增加了这条线的部分以及下面 Remote Logging 的部分，当我们的 Worker 将日志写到本地的时候，会有个异步线程将写到本地的 log 同步到 Remote Logging。当一些意外情况发生导致日志丢失，但用户想要看日志详细信息的时候，我们会有个请求将日志从远端拉到本地，然后本地返回。

为什么我们要设置这样一个动作呢？这样做首先能保证接口的一致性，就是日志全部都是从 Worker 发送给 API Server，然后去读取的。其次是尽量减少我们远端的带宽，只有当本地日志缺失的时候，我们才会去下载远端的日志。

如何配置？

接下来我们快速说明一下如何配置 Remote Logging。在我们的发版文件里会有关于如何启动和配置的简单介绍。

首先，我们要修改 Common Properties 文件，将这个 remote.logging.enable 设置存储并且设置为你想要存储的远端存储介质。目前我们支持了 OSS、S3 和 GCS。

其次就是一些第三方远端存储的配置，比如 AccessKey、Secret 以及对应的 bucket 和 region 等。

如何使用？

我们回到页面，体验一下 Remote Logging 是如何使用，以及我们是如何判断它是生效的。

我们这里有一个简单的工作流，它只有两个任务，分别打印了 1 和 2 这两个信息。手动触发这个工作流并观察日志，看看它是否正常地被写到远端。

当我们触发了工作流运行，并且工作流是运行成功的，我们将日志写到远端。当任务被运行成功的时候，我们就开始写日志了。

这一行就能很明显地看到，日志被写成功之后，会同时有一个异步线程将日志同步到远端的存储。

因为我们这里使用的是 S3，它将本地的路径的日志同步了一份到远端。回到 S3 的页面，可以看到 log 已经存在了。

接着我们模拟一下当本地 Worker 的日志缺失的时候，我们如何去读日志。我们手动将这个日志文件删除，可以看到这个文件夹下面有两个日志文件，分别是 3 和 4。将这两个文件都删除，可以看到这里已经没有对应的日志文件了。

此时，如果是之前的版本，我们已经不能查看最新的 instance 的日志文件了，但是有了 Remote Logging，就会发现本地不存在这个日志，将日志从远端下载到本地给用户查看。

模拟一下，这里我们点击查看任务日志，会发现任务日志已经被显示出来了。再去查看一下本地文件，会发现刚刚不存在的日志已经下载下来了，并且只下载了我们需要的那一个。

接下来看看另一个任务的日志，同样发现是能被显示的，本地的两个日志文件也被下载下来了。查看服务日志，我们发现它已经检测到日志文件不在本地出现，会去远端获取这个日志文件。

这就是 Remote Logging 功能的大致介绍，如果它能解决你的问题，欢迎在 8 月中下旬发布 3.2.0 版本的时候，升级版本来体验一下！

本文由白鲸开源提供发布支持！