[离线计算-Spark|Hive] 大数据应用性能指标采集工具改造落地

背景

主要介绍针对平台的spark应用程序,在不修改用户程序的情况下如何采集其资源和性能指标为后续分析使用,如性能优化,资源使用计价等.

分析挑战

在应用程序级别关联大量进程的指标

在分布式环境中，多个 Spark 应用程序运行在同一台服务器上，每个 Spark 应用程序都有大量的进程（例如数千个执行程序）在许多服务器上运行.

需要一个解决方案，该解决方案可以为每个进程收集指标，并将它们关联到每个应用程序的流程中
我们不知道这些流程何时启动以及需要多长时间。为了能够在这种环境中收集指标，分析器需要随每个进程自动启动。

使指标收集对任意用户代码无干扰

为了跟上数据基础设施的不断增长，我们需要能够随时测量任何应用程序，而无需更改代码。

例如，如果我们在 Hadoop 分布式文件系统 (HDFS) NameNode 上遇到高延迟，我们希望检查从每个 Spark 应用程序观察到的延迟，以确保这些问题没有被复制。由于 NameNode 客户端代码嵌入在我们的 Spark 库中，因此修改其源代码以添加此特定指标很麻烦。

JVM Profiler 引入

主要受 https://github.com/etsy/statsd-jvm-profiler 启发构建了更多功能的分析器

JVM Profiler 由三个关键功能组成，可以更轻松地收集性能和资源使用指标，然后将这些指标（例如 Apache Kafka）提供给其他系统进行进一步分析：

java agent: 通过将 Java agent 合并到我们的分析器中，用户可以以分布式方式收集 JVM 进程的各种指标（例如 CPU/内存使用情况）和堆栈跟踪
高级分析功能：JVM Profiler 允许我们跟踪用户代码中的任意 Java 方法和参数，而无需进行任何实际代码更改。此功能可用于跟踪 Spark 应用程序的 HDFS NameNode RPC 调用延迟并识别慢速方法调用。它还可以跟踪每个 Spark 应用程序读取或写入的 HDFS 文件路径，以识别热文件以进行进一步优化。
数据分析报告：在 Uber，我们使用分析器向 Kafka topic和 Apache Hive 表报告指标，使数据分析更快更容易。

JVM Profiler 使用场景

大小合适的 executor：使用 JVM Profiler 的内存指标来跟踪每个 executor 的实际内存使用情况，以便我们可以为 Spark“executor-memory”参数设置正确的值。
监控 HDFS NameNode RPC 延迟：我们分析Spark 应用程序中org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB类上的方法，并识别 NameNode 调用的长时间延迟
监控驱动程序丢弃事件：分析像org.apache.spark.scheduler.LiveListenerBus.onDropEvent这样的方法来跟踪 Spark 驱动程序事件队列变得太长并丢弃事件的情况。
跟踪数据：在org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getBlockLocations和org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock方法上分析文件路径参数，以跟踪 Spark 读取和写入的文件应用

实现细节及可扩展性

为了使实现尽可能无缝，JVM Profiler 具有非常简单且可扩展的设计。人们可以轻松添加额外的分析器实现来收集更多指标，还可以部署自己的自定义报告器，将指标发送到不同的系统进行数据分析。

一旦进程启动，JVM Profiler 代码就会通过Java agent 参数加载到 Java 进程中。它由三个主要部分组成：

Class File Transformer:在进程内检测 Java 方法字节码以分析任意用户代码并将指标保存在内部指标缓冲区中。
Metric Profilers
- CPU/Memory Profiler:通过JMX收集 CPU/内存使用指标并将其发送给报告者。
- Method Duration Profiler:从指标缓冲区读取方法持续时间（延迟）指标并发送给报告者。
- Method Argument Profiler: 从指标缓冲区读取方法参数值并将其发送给报告者。
Reporters
- Console Reporter: 在控制台输出中写入指标
- Kafka Reporter ：将指标发送到 Kafka topic中

如何自定义reporter发送指标

用户可以实现自己的报告器并使用 -javaagent 选项指定它:

-javaagent:jvm-profiler-0.0.5.jar= reporter=com.uber.profiling.reporters.CustomReporter

JVM Profiler 在Uber数据基础设施集成

基础设施集成实现:

集群范围的数据分析：指标首先发送到 Kafka 并摄取到 HDFS，然后用户使用 Hive/Presto/Spark 进行查询。
实时 Spark 应用程序调试：使用 Flink 实时聚合单个应用程序的数据并写入MySQL 数据库，然后用户可以通过基于 Web 的界面查看指标。

如何落地的

扩展设计

整体流程:

spark应用在启动的时候指定jvm-profiler jar, 运行时收集内存,cpu,gc.io等指标,定制实现的profile
使用自定的reproter,主要将指标通过http 发送到接收服务
接收服务负责将数据写入kafka
kafka经flink 消费清洗分别写入influxdb以及hive中,用于后续展示和分析
hive 一样执行时,指定相关参数
通过解析/.staging/下job.xml 获取queryId 及sql相关信息
后续流程一样

部署

spark: 上传jvm-profiler jar 包到 hdfs上,提交任务时参数指定

hive: 部署jar到 hiveserver2 节点对应libs下面

总结

本文主要介绍了下Uber的开源项目jvm-profiler的产生背景,设计原理以及架构, 后面也设计了一套落地方案,用于采集spark、hive任务的资源消耗相关指标,可用于后续分析以及资源调优.

参考

https://eng.uber.com/jvm-profiler/

https://github.com/uber-common/jvm-profiler