公司使用了阿里云的服务,其中可以在项目中使用全链路监测,最近要排查慢响应,所以就在 Node 项目中接了一下 SkyWalking

  本文还会记录在使用时遇到的问题,以及解决思路。

一、初始化

1)参数配置

  SkyWalking支持自动埋点和手动埋点,自动埋点只要初始化后,就可以开始工作,很便捷。

  

2)下载依赖

  下载 SkyWalking Node.js Agent

npm install --save skywalking-backend-js

3)初始化

  在项目的 app.js 中配置和启用 SkyWalking。

const {default: agent} = require("skywalking-backend-js");

agent.start({
serviceName: 'web-api-pro',
collectorAddress: 'xxx',
authorization: 'xxx'
});

二、分析

1)应用概览

  在应用列表,选择web-api进入后,就能看到如下的分析页面。

  

  SkyWalking默认会上报项目内的所有接口通信、MySQL查询、MongoDB查询等。

  但这样会增加存储成本,所以我需要将不相关的接口过滤去除。

2)过滤接口

  翻阅官方文档,发现有个参数有这个过滤作用,字符串类型,默认是空字符串。

SW_TRACE_IGNORE_PATH The paths of endpoints that will be ignored (not traced), comma separated ``

  而跳转到源码中,也发现了对应的字段:traceIgnorePath。

export declare type AgentConfig = {
serviceName?: string;
collectorAddress?: string;
authorization?: string;
ignoreSuffix?: string;
traceIgnorePath?: string;
reIgnoreOperation?: RegExp;
};

  在 deepseek 上提问,AI 给了我如何使用参数的示例,通配符的作用也详细的说明了。

traceIgnorePath: "/healthcheck/*,/static/**"

  但是,提交到测试环境后,并没有像预想的那样,将指定路径的接口过滤掉。

  在将配置路径,翻来覆去的更改后,仍然不见效,遂去查看源码,在源码中的确包含 traceIgnorePath 参数。

3)求助阿里云

  由于这是阿里云提供的可选类型,所以就去阿里云上创建工单。

  

  马上就自动创建了一个小群,与对方的人员语音沟通了下,并且共享了屏幕代码。

  他表示需要花点时间,自己操作一下,在此期间,我自己也继续查看源码,最终发现了端倪。

  阿里云的响应还是很快的,特别及时。

4)源码分析

  在 node_modules 目录中的文件,也可以打印日志,我将传入的参数都打印了出来。

serviceName: 'web-api',
serviceInstance: 'MacBook-Pro.local',
collectorAddress: 'xxxx',
authorization: 'xxxx',
ignoreSuffix: '.gif',
traceIgnorePath: '/audiostream/audit/callback',
reIgnoreOperation: /^.+(?:\.gif)$|^(?:\/audiostream\/audit\/callback)$/,

  看到 reIgnoreOperation 参数被赋值了,一段正则,这个很关键,过滤接口,其实就是匹配正则。

  用 reIgnoreOperation 搜索,搜到了被使用的一段代码,operation 是一个传递进来的参数。

SpanContext.prototype.ignoreCheck = function (operation, type, carrier) {
if (operation.match(AgentConfig_1.default.reIgnoreOperation) ||
(carrier && !carrier.isValid()))
return DummySpan_1.default.create();
return undefined;
};

  然后再用用 traceIgnorePath 去搜索代码,并没有得到有用的信息,于是将关键字改成 Ignore。

  

  果然找到了合适的代码,在 HttpPlugin.prototype.interceptServerRequest 方法中,找到一段创建 span 的代码。

var operation = reqMethod + ':' + (req.url || '/').replace(/\?.*/g, '');
var span = AgentConfig_1.ignoreHttpMethodCheck(reqMethod)
? DummySpan_1.default.create()
: ContextManager_1.default.current.newEntrySpan(operation, carrier);

  链路(即链路追踪)可深入了解请求路径、性能瓶颈和系统依赖关系,多个处理数据的片段(也叫 span,跨度)通过链路 ID 进行串联,组成一条链路追踪。

  span 中有个三目运算,经过测试发现,如果没有配置要过滤的请求方法,那么就是 false。

  所以会进入到 newEntrySpan() 方法中,而在此方法中,恰恰会调用 ignoreCheck() 方法。

  那么其传入的 operation,其实就是要匹配的路径值,原来我配错了,官方需要带请求方法,如下所示。

traceIgnorePath: 'POST:/audiostream/audit/callback',

  不要过渡依赖 AI,我这次就非常相信 AI 给的示例,结果绕了大弯。

5)运行原理

  在执行 start() 方法时,会进行参数合并,参数修改等操作。

Agent.prototype.start = function (options) {
// 传入参数和默认参数合并
Object.assign(AgentConfig_1.default, options);
// 初始化参数,例如拼接正则等
AgentConfig_1.finalizeConfig(AgentConfig_1.default);
// 挂载插件,就是注入链路代码
new PluginInstaller_1.default().install();
// 上报
this.protocol = new GrpcProtocol_1.default().heartbeat().report();
this.started = true;
};

  其中在 report() 中,会创建一个定时任务,每秒运行一次。

setTimeout(this.reportFunction.bind(this), 1000).unref();

  .unref() 告诉 Node.js 事件循环:“此定时器不重要,如果它是唯一剩余的任务,可以忽略它并退出进程”。

  优化进程生命周期管理,避免无关任务阻塞退出。

  最核心的插件有HttpPlugin、IORedisPlugin、MongoosePlugin、AxiosPlugin、MySQLPlugin 等。

  以 HttpPlugin 为例,在 install() 时,会调用 interceptServerRequest() 方法注入链路操作。

HttpPlugin.prototype.install = function () {
var http = require('http');
this.interceptServerRequest(http, 'http');
};

  在 interceptServerRequest() 中,会修改 addListener()、on() 方法,并且会包装响应。

HttpPlugin.prototype.interceptServerRequest = function (module, protocol) {
var plugin = this;
var _addListener = module.Server.prototype.addListener;
module.Server.prototype.addListener = module.Server.prototype.on =
function (event, handler) {
var addArgs = [];
// 复制参数
for (var _i = 2; _i < arguments.length; _i++) {
addArgs[_i - 2] = arguments[_i];
}
// 执行事件
return _addListener.call.apply(
_addListener,
tslib_1.__spreadArrays([this, event,
event === 'request'
? _sw_request
: handler
],
addArgs)
);
function _sw_request(req, res) {
var _this = this;
var _a;
var reqArgs = [];
// 复制参数
for (var _i = 2; _i < arguments.length; _i++) {
reqArgs[_i - 2] = arguments[_i];
}
var carrier = ContextCarrier_1.ContextCarrier.from(req.headers || {});
var reqMethod = (_a = req.method) !== null && _a !== void 0 ? _a : 'GET';
// 拼接请求方法和接口路径
var operation = reqMethod + ':' + (req.url || '/').replace(/\?.*/g, '');
var span = AgentConfig_1.ignoreHttpMethodCheck(reqMethod)
? DummySpan_1.default.create()
: ContextManager_1.default.current.newEntrySpan(operation, carrier);
span.component = Component_1.Component.HTTP_SERVER;
span.tag(Tag_1.default.httpURL(protocol + '://' + (req.headers.host || '') + req.url));
// 包装响应信息
return plugin.wrapHttpResponse(span, req, res, function () {
return handler.call.apply(
handler,
tslib_1.__spreadArrays([_this, req, res], reqArgs)
);
});
}
};
};

  不过在上线后,发生了意想不到的意外,就是原先可以链式调用的 Mongoose 的方法:

this.liveApplyRecord.find({ userId }).sort({ createTime: -1 });

  在调用时会出现报错:

this.liveApplyRecord.find(...).sort is not a function

Node.js躬行记(30)——SkyWalking使用和排查分析的更多相关文章

  1. Node.js躬行记(15)——活动规则引擎

    在日常的业务开发中,会包含许多的业务规则,一般就是用if-else硬编码的方式实现,这样就会增加逻辑的维护成本,若无注释,可能都无法理解规则意图. 因为一旦规则有所改变,那么就需要修改代码再发布代码, ...

  2. Node.js躬行记(1)——Buffer、流和EventEmitter

    一.Buffer Buffer是一种Node的内置类型,不需要通过require()函数额外引入.它能读取和写入二进制数据,常用于解析网络数据流.文件等. 1)创建 通过new关键字初始化Buffer ...

  3. Node.js躬行记(2)——文件系统和网络

    一.文件系统 fs模块可与文件系统进行交互,封装了常规的POSIX函数.POSIX(Portable Operating System Interface,可移植操作系统接口)是UNIX系统的一个设计 ...

  4. Node.js躬行记(4)——自建前端监控系统

    这套前端监控系统用到的技术栈是:React+MongoDB+Node.js+Koa2.将性能和错误量化.因为自己平时喜欢吃菠萝,所以就取名叫菠萝系统.其实在很早以前就有这个想法,当时已经实现了前端的参 ...

  5. Node.js躬行记(6)——自制短链系统

    短链顾名思义是一种很短的地址,应用广泛,例如页面中有一张二维码图片,包含的是一个原始地址(如下所示),如果二维码中的链接需要修改,那么就得发代码替换掉. 原始地址:https://github.com ...

  6. Node.js躬行记(19)——KOA源码分析(上)

    本次分析的KOA版本是2.13.1,它非常轻量,诸如路由.模板等功能默认都不提供,需要自己引入相关的中间件. 源码的目录结构比较简单,主要分为3部分,__tests__,lib和docs,从名称中就可 ...

  7. Node.js躬行记(21)——花10分钟入门Node.js

    Node.js 不是一门语言,而是一个基于 V8 引擎的运行时环境,下图是一张架构图. 由图可知,Node.js 底层除了 JavaScript 代码之外,还有大量的 C/C++ 代码. 常说 Nod ...

  8. Node.js躬行记(23)——Worker threads

    Node.js 官方提供了 Cluster 和 Child process 创建子进程,通过 Worker threads 模块创建子线程.但前者无法共享内存,通信必须使用 JSON 格式,有一定的局 ...

  9. Node.js躬行记(25)——Web自动化测试

    网页在提测流转给 QA 后,如何能帮他们更有效而准确的完成测试,是我一直在思考的一个问题. QA 他们会对网页编写测试用例,在提测之前会让我们将优先级最高的用例跑通,这在一定程度上能够避免频繁的返工, ...

  10. Node.js躬行记(26)——接口拦截和页面回放实验

    最近在研究 Web自动化测试,之前做了些实践,但效果并不理想. 对于 QA 来说,公司的网页交互并不多,用手点点也能满足.对于前端来说,如果要做成自动化,就得维护一堆的脚本. 当然,这些脚本也可以 Q ...

随机推荐

  1. ElasticSearch学习——帮助类

    ElasticSearch第五步-.net平台下c#操作ElasticSearch详解 - 梦亦晓 - 博客园 (cnblogs.com) C# 如何使用 Elasticsearch (ES) - 领 ...

  2. 【记录】BASE64|解决JS和C++中文传输乱码,内含两种语言的Base64编码解码的代码

    JS 解决方法来源于知乎新码笔记的文章 function b64Encode(str) { return btoa(unescape(encodeURIComponent(str))); } func ...

  3. 操作系统:设备I/O -- 如何表示设备类型与设备驱动?

    计算机的结构 计算机结构示意图: 主板上的各种芯片并非独立存在,而是以总线为基础连接在一起的,各自完成自己的工作,又能相互打配合,共同实现用户要求的功能. 如何管理设备 前面的学习中宏,实现了管理内存 ...

  4. 一篇文章给你讲清楚运筹优化到底怎么学!基于 SCIP Optimization Suite 的运筹优化入坑教程

    [!abstract] 本文笔者用暴躁而又不失严谨性的语言,从优化问题的背景入手,强调了针对实际的工程问题开展的优化建模方法和学校教学内容之间的偏差,并围绕优化建模到底应该怎么学的问题,讲解了如何下载 ...

  5. AtCoder Beginner Contest 370 补题记录

    A - Raise Both Hands 题意: 给出Snuke举的左右手情况,如果只举左手,输出Yes,如果只举右手,输出No,否则输出Invalid 思路: 举左手:(l == 1 &&a ...

  6. Spring扩展接口-初始化(@PostConstruct,afterPropertiesset, init-method)

    .markdown-body { line-height: 1.75; font-weight: 400; font-size: 16px; overflow-x: hidden; color: rg ...

  7. Select 组件实现【全选】(基于 Element)

    〇.前言 在 Element 中,Select 组件支持单选和多选,但是并没有全选的属性,因此只能通过其事件和属性来实现,本文将实现一个简单的示例. 注意:本文的示例中,通过 leixing1 来兼容 ...

  8. 绘画应用当中的Midjourney和Diffusion有何区别?

    本文由 ChatMoney团队出品 Midjourney与Stable Diffusion:对比分析 1. 易用性与部署 Midjourney: 在线操作:Midjourney的最大优势在于其无需下载 ...

  9. Spring Cloud Gateway实现分布式限流和熔断降级

    小伙伴们,你们好呀!我是老寇!一起学习学习gateway限流和熔断降级 一.限流 思考:为啥需要限流? 在一个流量特别大的业务场景中,如果不进行限流,会造成系统宕机,当大批量的请求到达后端服务时,会造 ...

  10. Opencv学习:学习画图形

    日常坑爹opencv 1.绘制线段 Mat picture(500,500,CV_8UC3,Scalar(0,0,0,0.5)); Point point1 = Point(100, 100); Po ...