Welcome to YARP - 1.认识YARP并搭建反向代理服务

Welcome to YARP - 2.配置功能

Welcome to YARP - 3.负载均衡

Welcome to YARP - 4.限流

Welcome to YARP - 5.身份验证和授权

Welcome to YARP - 6.压缩、缓存

Welcome to YARP - 7.目标健康检查

Welcome to YARP - 8.分布式跟踪

这篇文章结束,YARP 的学习就先告一段落了。还有很多省略的章节(比如:中间件、HTTPS和TLS、GRPC等等)。想要了解更多的小伙伴可以自己去官网的文档了解。

介绍

在介绍 YARP 的分布式跟踪之前,我们先来了解一下什么是分布式跟踪。

当我们构建大型的应用程序或系统时,通常会将其拆分成多个部分,这些部分可能运行在不同的计算机或进程中。这种分布式架构有助于提高系统的可伸缩性和性能,但也增加了故障诊断的难度。分布式跟踪就像是应用程序的侦探工具,可以帮助工程师找出应用程序中的问题,特别是那些可能横跨多个计算机或进程的问题。

举个例子,假设我们有一个典型的网页服务,用户发送请求后,这个请求可能经过负载均衡器,然后传递给后端的Web服务器进程,最后可能会涉及数据库的多次查询。使用分布式跟踪,就像我们在调查一桩案件一样,工程师可以追踪整个请求的过程。他们能够分辨每个步骤是否成功,每个步骤花费了多少时间,甚至可以记录每个步骤产生的详细信息。

作为 ASP.NET Core 的组件,YARP 可以像任何其他 Web 应用程序一样轻松集成到不同的跟踪系统中。可以使用以下程序配置分布式跟踪,详情参考:

.NET 具有对分布式跟踪的内置可配置支持,YARP 利用这些支持来启用此类现成方案。

使用自定义跟踪标头

在使用 .NET 不原生支持的传播机制时,需要创建一个专门的传播器(DistributedContextPropagator)来处理该机制的上下文信息传递。

YARP 会移除 DistributedContextPropagator.Fields( 这是DistributedContextPropagator中的一个属性或字段,用于存储与上下文传播相关的信息 ) 中的任何标头,以便在 Inject 调用期间,传播器可以重新添加它们到请求中。 这个步骤是为了在整个传播过程中有效地管理标头信息,以确保它们被适当地处理和传递。

透传代理

如果不希望代理主动参与跟踪,并希望保留所有跟踪标头,您可以通过将SocketsHttpHandler.ActivityHeadersPropagator 设置为null来实现。这表示代理将保持对跟踪标头的透明传递,而不会主动干预。

services.AddReverseProxy()
.ConfigureHttpClient((context, handler) => handler.ActivityHeadersPropagator = null);

示例

1.创建项目

dotnet new web -n YARP.Metrics -f net6.0

2.添加项目引用

<ItemGroup>
<PackageReference Include="Yarp.Telemetry.Consumption" Version="2.1.0" />
</ItemGroup>

这个是 YARP 提供的库,用来监听代理操作的各个阶段,从而收集有关请求处理的详细信息和性能指标。

在内部,YARP 使用 EventSource 来收集来自许多用于处理请求的子系统的遥测事件和指标。

要监听这些指标,需要在 DI(依赖注入)中注册实现每个功能接口的类。以下是该类库提供的功能:

功能概述:

  1. Proxy(代理):代表整个代理操作,包括成功或失败。

    • 事件包括:

      • 代理请求的启动和停止时
      • 请求/响应主体处理时
    • 指标包括:
      • 启动的请求数量
      • 进行中的请求数量
      • 失败的请求数量
  2. Kestrel:处理传入请求的 Web 服务器。
    • 事件包括:

      • 请求的启动/停止或失败时
    • 指标包括:
      • 连接速率 - 每秒打开的连接数
      • 总连接数
      • TLS 握手次数
      • 入站队列长度
  3. Http:用于向目标服务器发出出站请求的 HttpClient。
    • 事件包括:

      • 连接创建时
      • 请求的启动/停止或失败时
      • 标头/内容发送/接收时
      • 请求在连接可用时出队列时
    • 指标包括:
      • 启动的出站请求数量
      • 失败的请求数量
      • 活动请求数量
      • 出站连接数量
  4. Sockets:涉及连接尝试的事件和有关发送和接收的数据量的指标。
  5. NameResolution:涉及名称解析尝试的事件和有关目标的 DNS 查询的指标。
  6. NetSecurity:涉及 SslStream 握手的事件和有关每个协议的握手数量和延迟的指标。

3.关键文件

  • ForwarderTelemetryConsumer(监听来自代理遥测的事件,记录与代理请求处理的高级别过程相关的时序和信息。)
  • HttpClientTelemetryConsumer(监听来自 HttpClient 遥测的事件,记录与目标服务器的出站请求和响应相关的时序和信息。)
  • PerRequestMetrics(存储按每个请求计算的指标的类。实例在请求的整个生命周期内存储在 AsyncLocal 存储中。)
  • PerRequestYarpMetricCollectionMiddleware(处理请求的第一步和最后一步。它初始化每个请求的指标,并在请求结束时记录结果。)

4.在DI中注册

using YARP.Metrics;

var builder = WebApplication.CreateBuilder(args);

var services = builder.Services;

services.AddControllers();

services.AddReverseProxy()
.LoadFromConfig(builder.Configuration.GetSection("ReverseProxy")); services.AddHttpContextAccessor(); // 用于收集有关代理转发的常规指标的接口
services.AddMetricsConsumer<ForwarderMetricsConsumer>(); // 将使用者注册到代理转发器遥测的事件
services.AddTelemetryConsumer<ForwarderTelemetryConsumer>(); // 将使用者注册到HttpClient遥测事件
services.AddTelemetryConsumer<HttpClientTelemetryConsumer>(); services.AddTelemetryConsumer<WebSocketsTelemetryConsumer>(); var app = builder.Build(); // 收集和报告代理度量的自定义中间件
// 放置在开头,因此它是每个请求运行的第一件也是最后一件事
app.UsePerRequestMetricCollection(); // 用于拦截WebSocket连接并收集暴露给WebSocketsTemetryConsumer的遥测的中间件
app.UseWebSocketsTelemetry(); app.MapReverseProxy(); app.Run();

5.Appsettings.json配置

{
"Logging": {
"LogLevel": {
"Default": "Information",
// "Microsoft": "Warning",
"Microsoft.Hosting.Lifetime": "Information"
}
},
"AllowedHosts": "*",
"ReverseProxy": {
"Routes": {
"route1": {
"ClusterId": "cluster1",
"Match": {
"Path": "{**catch-all}"
}
}
},
"Clusters": {
"cluster1": {
"Destinations": {
"cluster1/destination1": {
"Address": "https://www.baidu.com/"
}
}
}
}
}
}

5.运行项目

接下来我们运行项目,就可以看到代理请求的一些指标数据:

总结

到这里分布式跟踪篇章也已经结束了,它在分布式系统中尤为重要,可以分析性能瓶颈,定位错误和异常。而且收集的这些遥测数据(指标)可以导出到多种不同的后端存储或可视化工具中。比如:ZipkinJaegerPrometheus,这都是后话了。有兴趣的小伙伴自己研究吧。相关代码已上传Github,关键文件也都有注释。至此 YARP 的学习就先告一段落了。还有很多省略的章节(比如:中间件、HTTPS和TLS、GRPC等等)。想要了解更多的小伙伴可以自己去官网的文档了解。

Welcome to YARP - 8.分布式跟踪的更多相关文章

  1. Ocelot 集成Butterfly 实现分布式跟踪

    微服务,通常都是用复杂的.大规模分布式集群来实现的.微服务构建在不同的软件模块上,这些软件模块,有可能是由不同的团队开发.可能使用不同的编程语言来实现.有可能布在了几千台服务器,横跨多个不同的数据中心 ...

  2. Zipkin分布式跟踪系统介绍

    Zipkin是什么Zipkin分布式跟踪系统:它可以帮助收集时间数据,解决在microservice架构下的延迟问题:它管理这些数据的收集和查找:Zipkin的设计是基于谷歌的Google Dappe ...

  3. Centos下分布式跟踪工具Pinpoint的完整部署记录

    一.Pinpoint简单介绍Pinpoint是一款对Java编写的大规模分布式系统的APM工具,有些人也喜欢称呼这类工具为调用链系统.分布式跟踪系统.一般来说,前端向后台发起一个查询请求,后台服务可能 ...

  4. 微服务之分布式跟踪系统(springboot+zipkin+mysql)

    通过上一节<微服务之分布式跟踪系统(springboot+zipkin)>我们简单熟悉了zipkin的使用,但是收集的数据都保存在内存中重启后数据丢失,不过zipkin的Storage除了 ...

  5. 基于SkyWalking的分布式跟踪系统 - 环境搭建

    前面的几篇文章我们聊了基于Metrics的监控Prometheus,利用Prometheus和Grafana可以全方位监控你的服务器及应用的性能指标,在出现异常时利用Alertmanager告警及时通 ...

  6. 基于SkyWalking的分布式跟踪系统 - 微服务监控

    上一篇文章我们搭建了基于SkyWalking分布式跟踪环境,今天聊聊使用SkyWalking监控我们的微服务(DUBBO) 服务案例 假设你有个订单微服务,包含以下组件 MySQL数据库分表分库(2台 ...

  7. 基于SkyWalking的分布式跟踪系统 - 异常告警

    通过前面2篇文章我们搭建了SW的基础环境,监控了微服务,能了解所有服务的运行情况.但是当出现服务响应慢,接口耗时严重时我们需要立即定位到问题,这就需要我们今天的主角--监控告警,同时此篇也是SW系列的 ...

  8. springCloud学习6(Spring Cloud Sleuth 分布式跟踪)

    springcloud 总集:https://www.tapme.top/blog/detail/2019-02-28-11-33 前言   在第四篇和第五篇中提到一个叫关联 id的东西,用这个东西来 ...

  9. 云原生 - Istio可观察性之分布式跟踪(三)

    作者:justmine 头条号:大数据与云原生 微信公众号:大数据与云原生 创作不易,在满足创作共用版权协议的基础上可以转载,但请以超链接形式注明出处. 为了方便阅读,微信公众号已按分类排版,后续的文 ...

  10. 分布式跟踪的一个流行标准是OpenTracing API,该标准的一个流行实现是Jaeger项目。

    https://github.com/jaegertracing/jaeger https://mp.weixin.qq.com/s/-Tn2AgyHoq8pwMun8JHcGQ Jaeger的深入分 ...

随机推荐

  1. 【工具】-Reverse-DIE(Detect-It-Easy)

    关于 Detect It Easy,或缩写为"DIE"是一个用于确定文件类型的程序.Detect It Easy 是一个多功能的 PE 检测工具,基于 QT 平台编写,主要用于 P ...

  2. [k8s]使用nfs挂载pod的应用日志文件

    前言 某些特殊场景下应用日志无法通过elk.grafana等工具直接查看,需要将日志文件挂载出来再处理.本文以nfs作为远程存储,统一存放pod日志. 系统版本:CentOS 7 x86-64 宿主机 ...

  3. GGTalk 开源即时通讯系统源码剖析之:客户端全局缓存及本地存储

    继上篇<GGTalk 开源即时通讯系统源码剖析之:虚拟数据库>详细介绍了 GGTalk 内置的虚拟的数据库,无需部署真实数据库便能体验GGTalk的全部功能,虚拟数据库将极大地简化服务端的 ...

  4. QA|20221010|SecureCRT|我们5分钟前执行了a指令,但因为执行b指令打印了大量日志,把指令记录冲掉了,以后如何避免这种情况?

    Q:我们5分钟前执行了a指令,但因为执行b指令打印了大量日志,把指令记录冲掉了,以后如何避免这种情况? A:如下配置

  5. 数据库安装postgresql

    数据库安装postgresql 目录 数据库安装postgresql 1.数据库源替换下载 2.初始化数据库并启动安装 3.登录数据库设置密码 4.常用命令 一.常用命令 二.用户 三.权限 四.模式 ...

  6. Go类型全解:常量与变量大全!

    本篇文章深入探讨了 Go 语言中类型确定值.类型不确定值以及对应类型转换的知识点,后续充分解析了常量与变量及其高级用法,并举出丰富的案例. 关注公众号[TechLeadCloud],分享互联网架构.云 ...

  7. HTML一键打包APK工具最新版1.9.2更新(附下载地址)

    HMTL网址打包APK,可以把本地HTML项目, Egret游戏,网页游戏,或者网站打包为一个安卓应用APK文件,无需编写任何代码,也无需配置安卓开发环境,支持在最新的安卓设备上安装运行. 打包软件会 ...

  8. C++的模板类在HotSpot VM中的应用

    模板是c++的一种特性,允许函数或者类通过泛型(generic types)的形式表现或者运行.模板可以使得函数或类在对应不同的类型(types)的时候正常工作,而无需为每一种类型分别写一份代码. 在 ...

  9. rte-rtc

          活动内容 个人中心 立即报名    活动详情 RTE大会(原"RTC大会")创立于2015年,是亚太首个.迄今为止规模最大的实时互联网技术盛会,覆盖200+行业场景 ...

  10. PPT太大发不出去?教你三个PPT压缩方法,200M的PPT变15M

    相信有很多小伙伴在工作的时候,都会制作不少的PPT,而我们也知道很多PPT在制作完成以后,体积就会变得非常大,在发送给别人的时候总是会受到限制,是有点难搞了. 别担心,今天小编将告诉大家三个简单的方法 ...