Solutions：应用程序性能监控/管理(APM)实践---python/flask

本文部分内容转载自：https://blog.csdn.net/UbuntuTouch/article/details/102844900

官方文档：https://www.elastic.co/guide/en/apm/index.html

APM 到底是什么

APM就是监视和管理软件应用程序的性能和可用性。Elastic APM是基于Elastic Stack构建的应用程序性能监视系统。 它使您可以实时监视软件服务和应用程序-收集有关传入请求，数据库查询，对缓存的调用，外部HTTP请求等的响应时间的详细性能信息。 这样可以轻松快速地找出并解决性能问题。

Elastic APM还会自动收集未处理的错误和异常。 错误主要根据堆栈跟踪进行分组，因此您可以在新错误出现时识别它们，并密切注意特定错误发生的次数。

指标是调试生产系统时的另一个重要信息来源。 Elastic APM代理会自动选择基本主机级别指标和特定于代理的指标，例如Java代理中的JVM指标和Go代理中的Go运行时指标。

Elastic APM方案是世界上第一个开源的APM 解决方案：

APM记录数据库查询，外部HTTP请求以及对应用程序的请求期间发生的其他缓慢操作的跟踪

- 很容易让程序员看到应用在运行时各个部分所花的时间

它收集未处理的错误和异常

- 很容让程序员调试错误

在客户面对性能瓶颈和错误之前先定位到问题所在

提高开发团队的生产力

Elastic Observability （可观测性）

Elastic 通过整合日志，指标及APM，统一整个生态系统可见性，打造一个完整的可观测性。将您的日志，指标和APM跟踪大规模整合到一个堆栈中，以便您可以监视环境中发生的事件并对事件做出反应。按照文章“Metrics, tracing, and logging”的描述，打造全面的可观测性，需要如下的三个要素：

在Elastic Stack中，我们都有相应的模块处理：

日志 （logging）：程序运行产生的事件，可以详细解释其运行状态。

指标（metrics）：一组聚合数值，主要用于监控基础设施（机器、容器、网络等），但也有应用会用于监控业务层面，比如开源搜索系统Elasticsearch就有关于查询或写入量、耗时、拒绝率等应用层面的指标。

应用性能监控（APM）：深入到代码层面的追踪（或监控），包括程序内部执行过程、服务之间链路调用等情况，能轻易的找到程序“慢”的原因。APM最常见被用于对web服务器中一次请求处理过程的追踪，包括内部执行逻辑、外部服务的调用及它们相应的耗时。

Elastic Stack可为所有运营数据提供快速，可靠和相关的搜索，因此无论数据类型如何，您都可以提出自己想要的问题-并获得所需的答案。

APM应用于Elastic Stack的位置

如上图所示，我们看到一个最典型的APM架构图：

我们需要架设一台专门的APM服务器，虽然也可以和Elastic Stack的其它服务器处于同一台服务器中

AMP agent专门收集数据并发送数据到APM服务器中。这里的APM agents包含：



APM服务器把数据发送到Elasticsearch中，并进行数据分析

Kibana可以帮我们把数据进行展示并显示在Dashboard之中

总体来说，APM数据仅仅是另外Elasticsearch索引。在Kibana中已经有一个现成的APM应用可以被我们所使用。我们也可以根据需求自己定制自己的Dashboard。APM可以完美地结合机器学习和告警。

APM术语

• Service: 在apm agent配置中进行设置，以将特定的apm agent组标识为单个服务，这是一种逻辑上标识一组事务的方法
• Transaction: 组成一个服务的请求和响应，例如登录api调用，每个调用由单独的span组成。
• Span: 事务中的单个事件，例如方法调用，数据库查询或缓存插入或检索，即需要花费时间才能完成的任何事件。
• Erorrs：具有匹配的异常或日志消息的异常组

它们之间的关系可以用如下的图来表示：

分布式tracing：

动手实践

使用python的flask框架进行演示

前提条件：

1.按照elasticsearch和kibana,版本均为7.5.0

es地址：http://192.168.75.21:9200

kibana地址：http://192.168.75.21:5601

2.使用pycharm构建一个简单的flask框架

第一步,安装配置apm-server服务端

下载地址：https://www.elastic.co/cn/downloads/

下载跟es版本相匹配的apm-server版本，上传到服务器中,解压缩，进入目录中，找到apm-server.yml文件并进行相应的修改：

apm-server:
    host: "192.168.75.21:8200"

idle_timeout: 100s
read_timeout: 100s
write_timeout: 100s
shutdown_timeout: 100s

rum:
    enabled: true

queue:
    mem:
        events: 4096

kibana:
    enabled: true
    host: "192.168.75.21:5601"

output.elasticsearch:
    hosts: ["192.168.75.21:9200"]

保存后运行：./apm-server

此时查看kibana界面，会有如下信息：

在主页-添加数据-APM中检测APM Server 状态，查看如下：

第二步：安装配置apm-agent

1.安装 APM 代理:pip install elastic-apm[flask],将 Python 的 APM 代理安装为依赖项

2.配置代理,代理是在您的应用程序进程内运行的库。APM 服务是基于 SERVICE_NAME 以编程方式创建的。

#!/usr/bin/env python
# -*- coding: utf-8 -*-

# 使用环境变量初始化
from elasticapm.contrib.flask import ElasticAPM
from flask import Flask

app = Flask(__name__)
apm = ElasticAPM(app)

# 或进行配置以在您的应用程序设置中使用 ELASTIC_APM
from elasticapm.contrib.flask import ElasticAPM

app.config['ELASTIC_APM'] = {
    # 设置所需的服务名称。允许使用的字符：
    # a-z、A-Z、0-9、-、_ 以及空格
    'SERVICE_NAME': 'sample_apm',

    # APM Server 需要令牌时使用
    'SECRET_TOKEN': '',

    # 设置定制 APM Server URL（默认值：http://localhost:8200）
    'SERVER_URL': 'http://192.168.75.21:8200',
}

apm = ElasticAPM(app)

@app.route("/")
def index():
    return "111"

if __name__ == '__main__':
    app.run(debug=True)

运行该flask程序，检测apm-agent状态：

第三步：查看

附java项目的apm-agent:

http://search.maven.org/#search|ga|1|a%3Aelastic-apm-agent