李哲 — MAY 13, 2015

语言本身

Ruby语言支持语法级别的系统,框架,甚至语言本身的方法复写,一般叫做元编程(meta programming), 此基础之上还有一些术语为mixin,方法的动态定义,运行时类改写等等,这些技术和机制可以让语言本身就能实 现其他语言需要字节码才能实现的功能,例如探针需要hook HttpRequest中的request方法,就可以通过下面的方式实现:

class HttpRequest

  def request_new
puts 'before request'
result = request_old
puts 'after request'
result
end alias_method :request_old, :request
alias_method :request, :request_new end

这里只是展示其中一种最简单的方法,还有很多其他方法,比如我们想完全放弃原有的方法的话,那就可以直接覆盖掉这个方法了。

框架

某些框架如Rails提供pub-sub机制,这种情况下探针只需要订阅特定类型的消息,然后进行数据再加工就可以了。对于Rails,这个比较简单:

module ActionController
class PageRequest
def call(name, started, finished, unique_id, payload)
Rails.logger.debug [name, started, finished, unique_id, payload].join(' ')
end
end
end ActiveSupport::Notifications.subscribe('process_action.action_controller', ActionController::PageRequest.new) # 每次访问就能够订阅到‘process_action.action_controller’的消息:
#
# process_action.action_controller 2012-04-13 01:08:35 +0300 2012-04-13 01:08:35 +0300 af358ed7fab884532ec7 {
# controller: "Devise::SessionsController",
# action: "new",
# params: {"action"=>"new", "controller"=>"devise/sessions"},
# format: :html,
# method: "GET",
# path: "/login/sign_in",
# status: 200,
# view_runtime: 279.3080806732178,
# db_runtime: 40.053
# }

这样我们就能拿到这个request的数据了,订阅消息类型还请自己查阅相关框架的文档。

RACK

Rack绝对是个好东西,它把几乎所有的web框架和server沟通的接口定义好了,而且是如此的简洁,就是一个call方法。 一个最简单的Rack应用如下:

# configu.ru

class App

  def call
[200, {"Content-Type" => "text/html"}, ["hello world"]]
end end run app # rackup

只需要这个call方法就搞定了,而多层的rack middleware也只是嵌套着调用call方法,所有要hook的话,这里就够了, 不过因为这里基本就是根了,需要注意抓取的数据量及堆栈信息,太长的话会影响性能的。

数据库

数据库层基本都是对orm框架的hook,在每个查询的结果输出中都会有执行的时间信息,超过阀值则调用数据库本身的查询 语句优化工具,并保存输出结果。至于hook的方法就是【1】中或者采用【2】中的方法,如果框架支持的话。

外部服务

外部服务就是对访问外部http请求的http_client类似的库进行hook,也就是按照【1】中的方法,对发起request的方法进行hook。

后台任务

后台任务机制同上面几项,只不过是在非http server的进程中运行,数据抓取的机制一样,但分类不同, 需要探针在运行过程中,判断数据抓取的对象状态,即web事务中还是非web事务中,非web事务都统一存 储到后台任务的数据容器中。

Thread Profiler

Thread Profiler就是一个加强版的事务采集器,可以设定采样周期和采样频率,将周期内的事务请求进行数据的聚合处理, 然后统计出在这个周期内的堆栈调用占比信息,然后可以根据此信息找出时间占比或者调用次数最多的方法,然后有针对性的 进行优化。

总结

以上所述,还只是一些最根本的原理性知识,细节的点还有很多,比如如何进行数据的本地存储和处理,以及线程间的数据冲突处理, 还有基于fork的多进程server的进程间的数据传输,在以后的文章中,会针对每一项都做出详细的解释,还请大家持续关注。


本文作者系OneAPM工程师李哲 ,想阅读更多好的技术文章,请访问OneAPM官方技术博客。

Ruby探针的基本实现原理的更多相关文章

  1. 从后端到页面:如何全方位监控 Ruby 应用?

    [编者按]本文参考技术分享 ,由 OneAPM 工程师补充整理,并且已经征得原作者的同意. 为什么选择 OneAPM ? 在性能监控领域,业界比较有名的是 New Relic 还有 Appdynami ...

  2. Java探针

    使用java代理来实现java字节码注入 使用JavaSsist可以对字节码进行修改 使用ASM可以修改字节码 使用Java代理和ASM字节码技术开发java探针工具可以修改字节码 备注:javass ...

  3. Java探针-Java Agent技术-阿里面试题

    Java探针参考:Java探针技术在应用安全领域的新突破 最近面试阿里,面试官先是问我类加载的流程,然后问了个问题,能否在加载类的时候,对字节码进行修改 我懵逼了,答曰不知道,面试官说可以的,使用Ja ...

  4. HADOOP HDFS的设计

    Hadoop提供的对其HDFS上的数据的处理方式,有以下几种, 1 批处理,mapreduce 2 实时处理:apache storm, spark streaming , ibm streams 3 ...

  5. 使用Rails 4.2+ 测试异步邮件系统

    [导读]异步测试总是一个很大的问题,邮件发送测试更是让很多开发同学不知道从哪里入手.在新版的Rails里,这类测试在很大程度上被简化了. 以下为译文 在编写需要发送邮件的应用时,控制器是绝不能被阻塞的 ...

  6. RednaxelaFX写的文章/回答的导航帖

    https://www.zhihu.com/people/rednaxelafx/answers http://hllvm.group.iteye.com/group/topic/44381#post ...

  7. PentestBox简明使用教程

    介绍 PentestBox:渗透测试盒子 顾名思义,这是一个渗透工具包,但是不同于绝大多数国内xx工具包的是,这里集成的大都是Linux下的工具,Kali Linux上面的常用的很多工具这里面也都集成 ...

  8. JVM插庄之一:JVM字节码增强技术介绍及入门示例

    字节码增强技术:AOP技术其实就是字节码增强技术,JVM提供的动态代理追根究底也是字节码增强技术. 目的:在Java字节码生成之后,对其进行修改,增强其功能,这种方式相当于对应用程序的二进制文件进行修 ...

  9. Java动态追踪技术探究(动态修改)

    Java动态追踪技术探究 Java探针-Java Agent技术-阿里面试题 秒懂Java动态编程(Javassist研究) 可以用于在类加载的时候,修改字节码. Java agent(Java探针) ...

随机推荐

  1. Flask —— 使用Python和OpenShift进行即时Web开发

    最近Packtpub找到了我,让我给他们新出版的关于Flask的书写书评.Flask是一个很流行的Python框架.那本书是Ron DuPlain写的<Flask 即时Web开发>.我决定 ...

  2. EmguCV学习——简单算法 差分与高斯

    公司项目需要检测运动物体,我对opencv也没啥研究,google了好久看了好多方法,最简单的就是差分与高斯背景建模了. 旁边搞c++的同事正在搞更nb的算法,等出来了 我再转成C#版的分享. 先看差 ...

  3. WinForm 加载自定义控件闪烁问题

    WinForm加载多个自定义控件时,会出现很严重的闪烁问题,很卡,一块一块的加载(像打开网页时,网络很卡的那种感觉)简直没法忍受. 在网上搜索了好久,网上大部分的方法是一下4种,但是都不能有效的解决问 ...

  4. js-提前声明和new操作符理解

    1.提前声明:声明变量后,js会把声明部分提前到作用域前面. var a=1; function aheadOfStatement(){ alert(a); var a=2; } 这段代码结果是und ...

  5. IOS应用程序升级

    IOS应用程序升级流程介绍:IOS手机端应用程序需要升级时,打开服务器端html文件(本文为ucab.html文件)->点击在线安装->打开plist文件(本文中为ucab.plist文件 ...

  6. Oracle把两个空格以上的空格,替换为两个空格

    substr( ,instr(,)),)) ) 解释如下: 1. 去掉原字串左右的空格的字符(STR),2.查找STR中空格出现二次的位置(LOC),3.从STR中的第一位到LOC-1截取STR||L ...

  7. sql总结

    sql总结 sql总结 where字句中使用的运算符 定义外键 定义主键 多表联合查询 统计函数 数据类型 sql语句格式 转换函数 null函数 运算符 日期 求某天是星期几 日期天数差 next_ ...

  8. JAVA数据结构-----栈

    栈是Vector的一个子类,它实现了一个标准的后进先出的栈. 堆栈只定义了默认构造函数,用来创建一个空栈. 堆栈除了包括由Vector定义的所有方法,也定义了自己的一些方法. 栈常用的五个方法: bo ...

  9. iOS9新系统下APP Store 应用上传新指南

    一 iTunes Connect介绍 iTunes Connect是面向iOS应用开发人员的苹果门户网站,供开发人员管理其应用,跟踪下载情况.今年1月份闹得沸沸扬扬的iTunes Connect BU ...

  10. 软件工程结对开发——返回一个整数数组中最大子数组的和(JAVA)

    题目:返回一个整数数组中最大子数组的和. 要求: 输入一个整型数组,数组里有正数也有负数: 数组中连续的一个或多个整数组成一个子数组,每个子数组都有一个和: 求所有子数组的和的最大值.要求时间复杂度为 ...